Python/爬虫
文章平均质量分 52
Python专栏
江冷易水寒
人终会被年少不可得之物困扰一生。
展开
-
ChatGLM3-6B本地部署及微调-部署
学术小白快速本地部署大模型ChatGLM3-6B原创 2024-01-03 13:45:13 · 2995 阅读 · 1 评论 -
windows环境下cmd找不到pip
cmd找不到pip原创 2023-12-19 08:23:59 · 1556 阅读 · 0 评论 -
Python创建二维数组
因一次笔试中忘记如何用python创建二维数组,遂记录下来.成功没有捷径,一定要脚踏实地.没有使用numpy模块,若想使用numpy模块创建二维数组请移步。一:初始化一个元素从0 - n*m的二维数组row = int(input())column = int(input())dp = [[i*column + j for j in range(column) ] for i in range(row)]#第i行第j列元素=元素所在行数*总列数+该元素所在的列数print(dp)原创 2021-01-22 12:54:51 · 4736 阅读 · 2 评论 -
python实现京东商品秒杀功能
from selenium import webdriverimport datetimeimport time# 打开Chrome浏览器driver = webdriver.Chrome()def auto_buy(username, password, purchase_list_time): print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'), "打开登陆界面") driver.get("htt...原创 2021-01-20 14:27:49 · 668 阅读 · 0 评论 -
Fiddler抓包微信小程序
我猜看到这篇文章的人应该都是手机WIFI代理后打开微信小程序无法连接网络的人。为什么手机明明已经添加了信任证书,什么都可以访问,但偏偏小程序无法访问网络呢?我在度娘上找到了一个比较满意的答案:小程序无法抓包原因 : ...原创 2020-04-28 16:36:07 · 20339 阅读 · 3 评论 -
python json模块list转dict
首先这个是一个.json文件,但我读取后显示的是list类型['{"message":"success","code":0,"data":[{"item_id":"3049","item_title":null,"item_desc":"“思想道德修养与法律基础”针对大学生成长过程中面临的思想道德和法律问题,开展马克思主义的()教育。","item_valid":["A","B","C","...原创 2020-04-28 19:46:10 · 1538 阅读 · 0 评论 -
Scrapy爬取新浪微博#陈情令
一、起因最近几天陈情令大火,而#肖战#王一博等人也成为众人所熟知的对象,所以我想用Scrapy爬取演员的微博信息来分析下演员信息二、目标本次爬取的目标是X玖少年团肖战DAYTOY的公开基本信息,如用户昵称、头像、用户的关注、粉丝列表以及发布的微博等,这些信息抓取之后保存至Mysql,并绘制出图表三、准备工作请确保代理池、Cookies池已经实现并可以正常运行,安装Scra...原创 2019-08-16 07:49:25 · 1489 阅读 · 2 评论 -
Scrapy设置headers、cookies三种方法
方法一:start_requests方法中添加cookies与headers:1、重写spider中的start_requests方法浏览器中cookies是这样的Cookie:_T_WM=98075578786; WEIBOCN_WM=3349; H5_wentry=H5; backURL=https%3A%2F%2Fm.weibo.cn%2Fdetail%2F4396824548...原创 2019-08-15 12:02:53 · 10640 阅读 · 1 评论 -
请求头列表
USER_AGENT_LIST=[ "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1", "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHT...原创 2019-08-15 11:37:07 · 930 阅读 · 0 评论 -
Python3.7 安装Scrapy
链接:https://blog.csdn.net/dvivily/article/details/81325337转载 2019-07-23 09:36:25 · 85 阅读 · 0 评论 -
Python爬取m3u8格式视频并解密ts文件合并转为mp4格式
一. m3u8是什么格式m3u8是苹果公司推出的视频播放标准,是m3u的一种,只是编码格式采用的是UTF-8。m3u8准确来说是一种索引文件,使用m3u8文件实际上是通过它来解析对应的放在服务器上的视频网络地址,从而实现在线播放。使用m3u8格式文件主要因为可以实现多码率视频的适配,视频网站可以根据用户的网络带宽情况,自动为客户端匹配一个合适的码率文件进行播放,从而保证视频的流畅度。...原创 2019-07-26 22:36:54 · 11702 阅读 · 7 评论 -
matlab和python对应函数
转:https://blog.csdn.net/panghaomingme/article/details/70308290转载 2019-06-20 10:55:23 · 3538 阅读 · 0 评论 -
BeautifulSoup4使用
使用文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#id32转载 2019-06-03 09:19:54 · 107 阅读 · 0 评论 -
Python爬取某高校URL教务网站
大概的框架是用urllib库中的requests写的,本来想用scrapy来写的,但是scrapy库没有安装好,所以只能用前者来写。其实requests库还是很方便的。主要用来做POST请求。暂时只爬取了部分2017级的学生,爬取的4532个学生中只有229个使用的不是初始密码,希望学生能够提高自己的隐私意识!!!效果图:总结一下遇到的几个难点:...原创 2018-10-21 21:46:58 · 1216 阅读 · 0 评论 -
Python3导入BeautifulSoup报错
转 https://blog.csdn.net/ASN_forever/article/details/78339067转载 2018-10-17 19:07:55 · 1205 阅读 · 0 评论 -
Python中xlwt模块(用来将爬取的数据整理到Excel中)
xlwt模块可以在命令行中使用: pip install xlwt 来安装安装完之后简易使用步骤import xlwt#新建excel文件file=xlwt.Workbook()#新建一张表(sheet)table=file.add_sheet('sheet name')#写入数据table.write(行,列,数据)table.write(1,1,'数据')...原创 2018-10-15 20:23:41 · 1351 阅读 · 1 评论 -
Python图片爬虫
爬取过程:1.通过 urllib.request.urlopen(url).read() 读取对应url的源代码2.根据第一个正则表达式进行第一次信息过滤。3.在第一次过滤的基础上再根据第二个正则表达式进行第二次信息过滤。提取出url上所有目标的图片链接。4.将提取出的图片链接储存在一个列表中,并遍历该列表。5.通过urllib.request.urlretrieve(ima...原创 2018-07-28 16:20:41 · 343 阅读 · 0 评论