![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫实战
不要香菜哈
摸鱼中……
展开
-
Python爬取重点产业专利信息网(仅供学习交流!!)
由于要做有关专利方面的研究,所有选择了重点产业专利信息网获取数据,该网站提供了数据下载功能,但由于网站响应比较慢,而且需要数量较多,所以选择爬虫进行爬取。1.数据获取经过分析发现该网站需要模拟登录才能实现数据获取,并且我们从post请求的数据可以看出登录的用户名为: ‘cnipr’,密码为:123456。登录失请求的url为:‘http://chinaip.sipo.gov.cn/login’,该网站需要维持session,所以我们使用session = requests.session(),然后用原创 2021-04-01 14:03:48 · 3782 阅读 · 15 评论 -
用python将爬取内容写入csv文件中用excel打开后的乱码问题
在平时的数据采集中我们经常会将一些数据存入csv文件,但是有时候用excel打开csv文件会发现乱码。可能有的人会问为什么不直接将数据写去excel中,而是先写入csv然后又用excel打开,不嫌麻烦嘛?这就是因为python写入csv文件比写入excel文件极其的方便和简单。就比如在追加写入的时候,如果我们使用excel就会比较麻烦,会用到xlutils这个库from xlutils.c...原创 2019-12-02 18:48:41 · 4366 阅读 · 1 评论 -
用selenium实现淘宝毫秒级自动抢券
淘宝秒杀脚本,扫码登录版from selenium import webdriverimport datetimeimport timedef main(): # 打开淘宝登录页,并进行扫码登录 #https://detail.tmall.com/item.htm?id=605884215543&spm=a1z0k.6846577.0.0.6aa35e765uE1E...原创 2019-12-02 18:28:12 · 6906 阅读 · 5 评论 -
python实现猫眼电影评论的爬取
直接上代码import xlrdimport requestsfrom lxml import etreeimport randomimport jsonpathimport jsonimport xlwtimport timeimport datetimeimport csvimport pandas as pd获取电影名称列表def get_movie_list(p...原创 2019-12-02 18:24:30 · 2731 阅读 · 0 评论 -
python抓取淘宝商品评论最新版
python抓取淘宝商品评论最新思路import jsonimport refrom lxml import etreeimport pandas as pdimport timeimport xlrdimport csvimport xlwtimport jsonpathdef loads_jsonp(jsonp): """ 解析json...原创 2019-12-02 18:19:59 · 2175 阅读 · 2 评论 -
用python将全年级的成绩爬下来导入excel表格
*#encoding=utf-8import csvfrom selenium import webdriverfrom lxml import etreedriver=webdriver.Chrome()with open(“九年级学号.txt”,“r”) as f:xh=f.read().split("\n")print(xh)with open(“九年级成绩.csv”,“w”...原创 2019-01-25 13:19:43 · 701 阅读 · 1 评论 -
爬取网易云音乐歌曲评论并生成特定词云图
import requestsimport jsonimport jsonpathimport csvimport timeimport jiebaimport numpy # 图片的转换from scipy.misc import imreadfrom PIL import Image # 图片处理from wordcloud import WordCloud # 词云...原创 2019-09-02 23:41:52 · 1304 阅读 · 0 评论