![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
weixin_41690892
这个作者很懒,什么都没留下…
展开
-
搜狐新闻小爬虫,解析数据接口并插入mysql数据库
# -*- coding: utf-8 -*-import time,hashlibimport requests,refrom lxml import etreeimport pymysqlimport datetimeheaders = { 'Connection': 'keep-alive', 'Upgrade-Insecure-Request...原创 2019-12-02 15:42:47 · 413 阅读 · 0 评论 -
Tensorflow 解决AttributeError: 'RefVariable' object has no attribute 'numpy'报错信息
解决AttributeError: ‘RefVariable’ object has no attribute 'numpy’报错信息在做线性回归的时候出现了变量没有numpy属性的错误,百度也为找到相关解决方法,下面将代码奉上,附加解决方案!import tensorflow as tfimport matplotlib.pyplot as pltclass Model(object):...原创 2019-02-28 17:04:11 · 12694 阅读 · 9 评论 -
asyncio异步编程,3秒600次请求,提高你的爬虫采集效率
最近深入探索scrapy框架,发现一个叫twisted的东西,也就是异步编程,进而碰到了asyncio,与结合aiohttp爬虫的采集速度提高了几十倍,甚是欢喜,发布出来与大家一同分享。import asyncioimport reimport aiohttpclass Crawler: def __init__(self, maxtasks=100): self...原创 2019-04-10 16:58:21 · 651 阅读 · 0 评论 -
bloom去重器,实现加载本地文件
import osfrom pybloom import ScalableBloomFilterclass filterutil: def __init__(self,path=None): self.path = path self.ispath = self._check_path(self.path) if self.ispath:...原创 2019-04-11 17:05:37 · 297 阅读 · 0 评论