- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python利用pymysql迁移MYSQL数据库数据
1.前言pymysql是一个第三方的模块，使用前需要安装2.安装pip install pymysql3.基本使用1.导入模块from pymysql import connect2.Connection 对象 目的：用于建立代码与数据库的连接创建连接对象 conn=connect(参数列表)参数host：连接的mysql主机，如果本机是'127.0.0.1'#如果不能用可以试下 host=localhost参数port：连接的mysql主机的端口，默认是3306参数database：
2021-06-02 18:04:22
1159
原创 python数据分析-基于Python的房屋均价数据可视化分析
1.内容简介首先通过爬虫采集上所有常熟售房网房源数据，并对采集到的数据进行清洗；然后，对清洗后的数据进行可视化分析，我们可以了解到目前市面上不同地区房源均价及房源分布情况，帮助我们进行购房决策。2.应用技术介绍1）Python网络爬虫技术ScrapyXpath2）Python数据分析技术NumpyMatplotlibPandas3) 存储MysqlRedis3.房源数据采集1）分析网站可以看到上面可见的有四个区域，后面数据跑完发现抓取到一个其他区域（不在列表上)可以看到有
2021-03-25 19:05:31
5713
3
原创 python多线程爬虫与单线程爬虫效率效率对比
前言我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。 首先声明一点！ 多线程和多进程是不一样的！一个是 thread 库，一个是 multiprocessing 库。而多线程 thread 在 Python 里面被称作鸡肋的存在！而没错！本节介绍的是就是这个库 thread。 不建议你用这个，不过还是介绍下了，如果想看可以看看下面，不想浪费时间直接看 multiprocessing 多进程鸡肋点名言：“Python 下多
2021-03-17 18:11:48
1524
10
原创 python requests 最新抓取百度翻译内容，js逆向，亲测有效
python requests 抓取百度翻译 js破解 最新版上一篇文章写了有道翻译抓取，朋友圈的大佬说试试抓取百度翻译！，于是我就抱着试一试的心态开始写了目标网站：https://fanyi.baidu.com/?aldtype=160471.寻找数据F12进去NetWork 调试多次，发现翻译后的数据放在json里2.找出接口区别下图(中翻英)接口下下图是（日翻英)的接口接口为:https://fanyi.baidu.com/v2transapi?from={需要翻译的文字语言}
2021-03-10 19:05:25
2822
10
原创 Python requests抓取有道翻译 最新版破解js加密
Python requests抓取有道翻译 最新版破解js加密目标网站：http://fanyi.youdao.com/1.寻找数据F12 进去Network 调试多次，翻译后的数据放在 json里数据放在接口下2.找出js加密的数据调试多次 发现这三个参数会发生变化，3.破解js加密观察initiator发现加载的js代码，分析代码发现加密的参数在这里‘ts’:就是Form Data里的’lts’, 不难发现 r获取的是当前时间的毫秒数并字符串化，i获取的是 r 拼接一个随机的（0，
2021-03-10 11:23:19
591
7
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人