![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
文章平均质量分 93
日暮途远.
这个作者很懒,什么都没留下…
展开
-
京东苏宁爬虫,商品价格比较
项目地址爬取京东苏宁商品信息(手机 笔记本电脑) 以及商品的评论 然后继承到web上,实现了价格评价的比较 并且对每件商品评论进行了情感分析,绘制了评论的词云https://github.com/ccclll777/JDSNCompare如果觉得有用,请点个star项目地址:http://39.105.44.114:38888/comparePrice/index.html京东爬虫在这里,我爬取了京东的搜索界面,通过关键字“手机”,“和笔记本电脑”,搜索到的信息,目标站点的url为https原创 2020-05-28 23:10:58 · 2049 阅读 · 0 评论 -
Python3中urllib库的使用
urlopen方法urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)这是urllib.request.urlopen函数,第一个参数是网站的url,第二个参数是发送post请求时需要的数据,第三个参数是超时的设置(如果在规定的...原创 2018-11-09 21:30:09 · 401 阅读 · 0 评论 -
Python3中request库的使用(爬虫基础)
request库基于urllib,比urllib更加方便,是Python更加简单的http库原创 2018-11-10 13:52:34 · 19120 阅读 · 4 评论 -
Python3中beautifulsoup库的使用(爬虫利器)
Beautiful Soup 库简介Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方...原创 2018-11-12 15:09:39 · 4783 阅读 · 0 评论 -
Python3中PyQuery的使用(爬虫利器)
初始化像Beautiful Soup一样,初始化pyquery的时候,也需要传入HTML文本来初始化一个PyQuery对象。它的初始化方式有多种,比如直接传入字符串,传入URL,传入文件名,等等。下面我们来详细介绍一下。字符串的初始化html = '''<div> <ul> <li class="item-0">first ...原创 2018-11-18 09:26:18 · 2160 阅读 · 0 评论