weixin_43689344的博客

scrapy里面导入文件itens里面的函数时候，出现No module named ‘items’解决：scrapy做爬虫时，导入Module的时候总显示no module named ×××.items？可是检查很多遍都没发现什么大问题啊？原来这是因为编译器的问题，pycharm不会将当前文件目录自动加入自己的sourse_path。那么具体的解决方法如下：1,找到你的scrapy...

新安装的电脑只有c盘和一个DATA1盘1.点击此电脑，鼠标右键进管理2.找到磁盘管理把自己较大待分卷的磁盘，用鼠标点击右键选择 压缩卷，对于新建的压缩卷，再鼠标点击右键选择新建卷，一直按下一步，完成分卷具体链接：https://jingyan.baidu.com/article/3c343ff75753ce0d3679634c.html...

SVM分为线性可分和线性不可分线性可分为2维平面的，线性不可分，可以将其上升到高平面，加一个z轴，可以采用一些核函数如：高斯核，让距离中间的点越近的点上升到更高层面，边缘的点到更矮的层面核函数还有：拉普拉斯核等用python去搭建一个模型，可以导入libsvm第一个参数是标签，后面的参数是具体的xy的向量Y,X=svm_read_problem(circleData)#训练参数就是条...

装饰器函数–作用在不改变原来函数的代码上进行修改，如果想要改变的是别人写好的代码，是不可能再改动，一点点改动就得大改，如果想要自己的代码达到想要的目的，那么就进行装饰可以把装饰器专门写在一个文件里面，引入就好但是每次都得重新写一遍say函数，写明，say函数要经过outer函数装饰过后新的say，所以能否不重写？那么就是，哪个函数要装饰，就在哪个函数上面加一个表明装饰器的语句，@out...

装饰器函数，传参为函数，返回也为函数1.在打印前加一个“************************”2.不改变say函数，但是对年龄进行一个判断。

python里面的.set（）是没有下标的可以用列表.update()进行无序的打乱列表的update，进行添加list转sets1 = set（1l)truple转set#交集s8 = set([7,8,9])s9 = set([9,10,11])a1 = s8 & s9#并集a2 = s8 | s9set如何转lists3 = {1,2,3,4}l3 = l...

对DataFrame类型的数据中的某一列数据进行归一化处理1.1.codeimport pandas as pdimport numpy as npimport matplotlib.pyplot as pltdata=pd.read_csv(‘C:/Users/Administrator/Desktop/txt.csv’)#data.plot()#data.columns #n...

1.blogSummary.xpath(‘normalize-space(.//div/div[2]/div[1]/text())’).extract()[0]normalize-space（）//解决的是有多余空格的问题，normalize-space是用来去除\r\t
的2.response2.status，取返回的状态码3.data1 = blogSummary.xpath(".//...

替换emoji表情def filter_emoji(desstr, restr=’’):try:co = re.compile(u’[\U00010000-\U0010ffff]’)except re.error:co = re.compile(u’[\uD800-\uDBFF][\uDC00-\uDFFF]’)return co.sub(restr, desstr)...

python里面的*args和**kwargs的用法：def init(self, taskinfo=None, *args, **kwargs):super(Blog_limited_Spider, self).init(*args, **kwargs)表示传的值不确定，*args为元组，在python中，有些常见方法参数是：*self._args, **kwargs，如...

第三百五十四节，Python分布式爬虫打造搜索引擎Scrapy精讲—数据收集(Stats Collection)标签：扩展 color print pac www. val status cal 关闭第三百五十四节，Python分布式爬虫打造搜索引擎Scrapy精讲—数据收集(Stats Collection)Scrapy提供了方便的收集数据的机制。数据以ke...

使用Django时要通知Django当前使用的是哪个配置文件。可以改变环境变量 DJANGO_SETTINGS_MODULE 实现这一点。当我们使用manage.py运行起本地的web服务器时，为了让Django知道使用哪个配置文件，就指定了DJANGO_SETTINGS_MODULE的环境变量的路径，我们看下manage.py对于官方的解释，environ是一个字符串所对应环境的映像对象，也...

1.问题：存在两个回调函数，有两个yield item 每次yield回来的item里面的值是不一样的，但是两个item所有的字段构成一个完整的记录，如何在pipline里面将异步的数据和字段，完整的保存在表里面？这个item有这些这么多的值而这个item仅仅有url、和mid的字段如何异步调用？并且保存？首先对item先判断里面是否包含这个字段，不是，则保存，是则进行url字段的保...

GMT_FORMAT = '%a %b %d %H:%M:%S +0800 %Y'#可以 time_tuple = time.strptime(item['created_at'],GMT_FORMAT)#item['created_at']为需要转的格林时间 #time.strptime，为转化为时间数组，分割成年月日最后用time.strftime函数，将时间数组转化为，中国标...

1.请求的url返回的是json代码，怎么提取里面的数据？用response.text如何加载response里面的数据？如果写的json.load(response.text)则报错： File “/usr/lib/python2.6/json/init.py”, line 264, in loadreturn loads(fp.read(),AttributeError: ‘str...

在运行scrapy代码时报错;Traceback (most recent call last):File “D:\Python\Anaconda\lib\site-packages\twisted\internet\defer.py”, line 654, in _runCallbackscurrent.result = callback(current.result, *args, ...

1.匹配多值属性的xpath如果HTML结构是这样<div class="demo"></div>那么我知道可以写xpath //div[@class=“demo”]，但是如果我的html是<div class="test demo"></div><div class="demo test"></div><...

数据仓库 VS 仓库数据库面向业务存储，仓库面向主题存储，较高层次对分析对象数据的一个完整并且一致的描述数据获取：数据仓库数据库针对应用（OLTP) 仓库针对分析(OLAP)数据库组织规范，仓库可能冗余，相对变化大，数据量大数据获取2：监测与抓取1.直接解析网页，接口，文件信息python常用工具：urlib urlib2，reques、scrapy数据获取3：填写、埋点、日志...

抓包分析用Fiddler进行抓包分析抓取HTTPS数据包怕取腾讯视频评论所谓抓包分析，就是网站的传输的数据包，数据会隐藏在网址的源代码，或者不在源代码中，所以要通过抓包分析，去抓取哪些隐藏起来的信息。下载Fiddlers，在对应的浏览器里面安装，在高级，选择使用代理服务器。爬虫抓取工具，比如去分析淘宝的评论，在fiddler中找到评论的url，复制到文档上，并且进行分析，找到他的规律，比...