- 博客(25)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python爬虫遇见needs to review the security of your connection before proceeding绕过 Cloudflare
clodflare，绕过Ray id
2022-09-08 16:58:53
9625
7
原创 msdge浏览器驱动测试
msedge驱动，无界面+不出现自动测试字样from msedge.selenium_tools import EdgeOptionsfrom msedge.selenium_tools import Edge#浏览器配置edge_options = EdgeOptions()# 设置无界面模式，也可以添加其它设置edge_options.use_chromium = Trueedge_options.add_argument('headless')#不出现自动测试字样edge_opti
2021-12-24 16:51:26
532
原创 谷歌浏览器驱动测试
selenium驱动谷歌浏览器，ip+headless+不出现自动测试字样import timefrom selenium import webdriverfrom selenium.webdriver import ChromeOptionsfrom selenium.webdriver.chrome.options import Optionsimport requestsdef get_proxy(): proxy = requests.get("http://127.0.0
2021-12-24 16:48:06
745
原创 pyecharts柱状图，折现图，日历图
import pandas as pdfrom pyecharts import options as optsfrom pyecharts.charts import *from pyecharts.globals import ThemeType,SymbolTypedata=pd.read_excel(r'./医院药品销售数据.xlsx')data.head() 购药时间 社保卡号 商品编码 商品名称
2021-12-21 17:16:11
599
原创 2021年挖掘猫眼专业版电影票房数据
概述自己看着玩玩，如有侵权，请联系我，立刻删除爬取关键点1.猫眼票房字体动态加密，需要破解2.截止今日20210101-20211214，有350天左右，需要ip代理池，Proxypool，代理池搭建链接如下：通过github搭建代理池3.需要构造浏览器头段，user-agent随机生成浏览器4.猫眼专业版，中间有几天浏览器页面看不到，采用后面单独处理的方法5.主要采用selenium+pyquer+request+无头Edge的方法提前告知缺点：爬取350页需要2小时，主要是留给浏览
2021-12-15 11:24:14
3972
4
原创 随机浏览器标识User-Agent
安装库pip3 install fake_useragent复制ua.json，文件{"browsers": {"chrome": ["Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36", "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML like
2021-12-06 17:05:38
595
原创 IP代理使用方式
安装好proxy代理池后，进入文件夹cmd命令：python proxyPool.py schedule #开一个cmd窗口python proxyPool.py server #再开一个cmd窗口#使用IP代理池接口#5010：settings中设置的监听端口，不是Redis服务的端口#get:直接获取一个可用代理#count：获取代理池中可用dialing的数量def get_proxy(): proxy=requests.get("http://127.0.0.1:
2021-12-06 17:00:40
2476
原创 request+ip代理+User-agent爬取青蛇劫起的评论220条
import pandas as pdimport requestsfrom bs4 import BeautifulSoupimport timeimport random#随机生成User_agent,浏览器标识def get_ua(): first_num = random.randint(55, 76) third_num = random.randint(0, 3800) fourth_num = random.randint(0, 140) os_t
2021-12-06 16:46:55
1824
原创 selenium+pyquery爬取亚马逊ipad商品前10页
爬取亚马逊商品ipad商品描述评级售价优惠导入所需要的包文件格式.ipynb模拟浏览器：webdriver，安装Edge()驱动解析库：pyquery时间模块：timepandasimport seleniumfrom selenium import webdriverfrom pyquery import PyQuery as pqfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.
2021-11-05 17:22:21
287
原创 selenium+pyquery爬取《鱿鱼游戏》评论2000+条
IMDB网址爬取《鱿鱼游戏》的全部评论评论排名评论标题id评论时间评论内容导入所需要的包selenium:模拟浏览器，这里使用的是Edge浏览器，需要安装Edge浏览器驱动解析库：PyQuery保存数据：pandas，保存为csv文件from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.common.by imp
2021-11-01 11:43:35
7758
原创 爬取豆瓣TOP250-避免反爬虫（2021-10-09）
前言不适合没有爬虫基础的，自己写着玩玩，其中的IP地址，也是爬取下来的，实时在变注意：没有对IP地址进行校验爬取豆瓣电影，豆瓣电影现在都有反爬虫机制，我们采用2种方法：不同浏览器标识：User_agent（模拟不同的浏览器）不同的IP地址：proxies（防止IP地址被封）爬取间隔2秒：防止网页扫描频繁操作导入需要的库import pandas as pdimport requestsfrom bs4 import BeautifulSoupimport randomimport
2021-10-09 16:29:20
6106
2
原创 数据分析实战-电商4 RFM分析
这是来自《和鲸社区的一个》数据分析实战项目原始链接为某电子产品销售数据分析报告及RFM模型自己写的，用来练手编辑器使用Vscode这一部分是RFM分析，运行时间过久from numpy import percentileimport pandas as pdimport matplotlibimport timeimport matplotlib.pyplot as plt#显示所有列pd.set_option('display.max_columns', None)#显示所有
2021-09-10 11:43:37
181
原创 数据分析实战-电商3.1
这是来自《和鲸社区的一个》数据分析实战项目原始链接为某电子产品销售数据分析报告及RFM模型自己写的，用来练手编辑器使用Vscode这一部分是单独的回购率分析from matplotlib.pyplot import figureimport pandas as pdimport numpy as npimport matplotlib.pylab as pltimport matplotlibfrom pandas.core import groupby#定义plt,绘图字体mat
2021-09-10 11:37:20
135
原创 数据分析实战-电商3
这是来自《和鲸社区的一个》数据分析实战项目原始链接为某电子产品销售数据分析报告及RFM模型自己写的，用来练手编辑器使用Vscode这一部分是产品分析from logging import handlersfrom matplotlib.pyplot import colorbar, figure, twinximport pandas as pdimport numpy as npimport matplotlibimport matplotlib.pylab as pltfrom
2021-09-10 11:33:24
188
原创 数据分析实战-电商2
这是来自《和鲸社区的一个》数据分析实战项目原始链接为某电子产品销售数据分析报告及RFM模型自己写的，用来练手编辑器使用Vscode这一部分是用户分析import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport matplotlibfrom pandas.core.reshape.pivot import pivot#用户分析#显示所有列pd.set_option('display.max_c
2021-09-10 11:30:37
201
原创 数据分析实战-电商1
import pandas as pddata=pd.read_csv(r’E:\py_project\ActualCase\ElectronSales\电子产品销售分析.csv’,index_col=0)print(data.loc[:10])print(data.price.sum())
2021-09-10 11:26:04
107
原创 差分信号
差分传输是一种信号传输的技术，区别于传统的一根信号线一根地线的做法，差分传输在这两根线上都传输信号，这两个信号的振幅相同，相位相反。在这两根线上的传输的信号就是差分信号。信号接收端比较这两个电压的差值来判断发送端发送的逻辑状态。在电路板上，差分走线必须是等长、等宽、紧密靠近、且在同一层面的两根线。信号接收端比较这两个电压的差值来判断发送端发送的是逻辑0还是逻辑1；VDS不是传输速率快，是抗干扰能力强。有信号时，一棵线电压+V，另一棵线电压-V，接收端获得的信号是两者的差值+V-(-V)=2V。外界的干扰
2020-11-04 14:10:13
1687
原创 RS232和RS485、RS422通信
RS232,9针，采用负逻辑，-15V~-3V 代表1+3V~+15V 代表0RS485和RS422均采用差分传输的方式，所以他们的电平一般有2个引脚A、B，发送端AB间的电压差+2~+6V 代表1-2~-6V 代表0接收端AB间的电压差大于 +200mv 代表1小于 -200mv 代表0定义逻辑1为B>A的状态定义逻辑0为A>B的状态AB之间的电压差不小于200mv一对一接头的情况下RS232 可做到双向传输，全双工通讯，最高传输速率20kbpsRS485 只能做
2020-10-27 17:19:58
644
原创 data_recv的输出信号，帧边界与帧之间的关系
data_recv模块负责将输入的40.96Mbps串行数据转化为8bit并行数据，由两个子模块组成，分别是uart_rx_oversample_8x负责将接收到的数据进行八倍过采样，并进行串并转换，以及decode模块负责完成10b/8b解码。在data_recv模块在顶层还实现了同步码的接收并根据接收结果判断链路状态的功能;时序如下图所示rx_link表示链路通断，由链路空闲时发送同步码决定其状态;frame信号用来表示帧的边界;dataout, dataout_val为输出信号及输出信号有效
2020-10-23 17:23:41
493
原创 异步FIFO跨时钟域，写的快、读的慢
DCM逻辑：DATA路径因为是写得快读得慢，写时钟周期比读周期小，所以在写满以后，等待下一个读周期上升沿就得到读满信号；异步FIFO跨时钟域问题，读写时钟不同，不能确定，写满信号和读空信号，采用的FIFO策略是，先写满，写的过程通过帧拉高，帧数据有效等来进入写的状态机，确定写的数量并缓存计数，确定写满。写满信号到来之后，输出，接收读请求，进入读的状态机，读出有效计数等与写的缓存计数时，就可以判定读空了；值得关注的一个信号是rd_control控制top层的模块读进程，并且因为跨时钟域的原因，需要等待
2020-10-23 10:34:17
2911
原创 异步FIFO跨时钟域，写的慢，读的快
DCM逻辑：CMD路径因为是写得快读得慢，写时钟周期比读周期大，所以在写满以后，下一个读周期上升沿就很快的得到读满信号。异步FIFO跨时钟域问题，读写时钟不同，不能确定，写满信号和读空信号，采用的FIFO策略是，先写满，写的过程通过帧拉高，帧数据有效等来进入写的状态机，确定写的数量并缓存计数，确定写满。写满信号到来之后，输出，接收读请求，进入读的状态机，读出有效计数等与写的缓存计数时，就可以判定读空了。值得关注的一个信号是rd_control控制top层的模块读进程。以下是verilog代码，因前
2020-10-23 10:25:45
3710
Excel+python+中英文数字+独立染色
2022-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人