- 博客(7)
- 收藏
- 关注
RSS订阅
原创 scrapy框架爬取豆瓣电影的数据
1.什么是scrapy框架？Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和...
2020-02-24 17:49:14
1381
原创 scrapy框架中使用xpath的extract()和extract_first()的区别
在使用scrapy爬虫的时候，我们常常使用xpath来获取html标签，但是我们经常会用到提取的方法，有两种提取的方法，分别是：extract():这个方法返回的是一个数组list，，里面包含了多个string，如果只有一个string，则返回[‘ABC’]这样的形式。extract_first()：这个方法返回的是一个string字符串，是list数组里面的第一个字符串。...
2020-02-22 18:32:24
1260
原创 将Excel写入到TXT中
标题excel表中右键查看代码输入如下代码Sub GetDataFromExcel()Dim arr, brr, tt = Timerarr = ActiveSheet.UsedRangeReDim brr(1 To UBound(arr, 1))For a = 1 To UBound(arr, 1)brr(a) = arr(a, 1)For b = 2 To UBou...
2020-05-01 17:15:06
605
原创 charles利用夜神模拟器抓取安卓app数据操作
首先，去charles中下载信任证书，拖拽进夜神模拟器sd卡随便一个文件夹（注意一定要在sd卡中）保存cer文件，别选择pem形式接下来打开模拟器，点击设置–安全–从SD卡安装证书。进去sd卡找到你的cer文件进行安装，按步骤来就可以完成啦！...
2020-04-20 11:41:58
1984
原创 PermissionError：[WinError 5]拒绝访问。
出现这样的情况是因为你没有管理员权限，解决方法如下：右键pycharm，用管理员身份打开pycharm然后重新输入命令
2020-04-13 15:10:09
1990
原创 Python中if __name__ == '__main__':的作用
一个python文件通常有两种使用方法，第一是作为脚本直接执行，第二是 import 到其他的 python 脚本中被调用（模块重用）执行。因此if name == ‘main’: 的作用就是控制这两种情况执行代码的过程，在if name == ‘main’: 下的代码只有在第一种情况下（即文件作为脚本直接执行）才会被执行，而 import 到其他脚本中是不会被执行的。举例说明如下：直接执行在...
2020-03-01 23:24:53
143
原创 请教回调函数没有被调用如何解决
请教回调函数没有被调用如何解决这是代码截图“C:\Program Files\Python36\python.exe” D:/xuePython/stock_spider/stock_spider/main.py2020-02-05 21:40:12 [scrapy.utils.log] INFO: Scrapy 1.8.0 started (bot: stock_spider)2020...
2020-02-05 21:52:15
1578
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人