- 博客(77)
- 资源 (9)
- 问答 (4)
- 收藏
- 关注
原创 数据库表的基本操作
id` INT PRIMARY KEY UNIQUE NOT NULL AUTO_INCREMENT, # 学生id。`name` VARCHAR(20) NOT NULL, # 学生姓名。(NULL,'数学','100','6'),(NULL,'语文','60','1'),(NULL,'数学','70','1'),(NULL,'英语','80','1'),(NULL,'语文','56','2'),(NULL,'数学','58','2'),(NULL,'英语','60','2'),
2023-09-14 05:59:59 202
原创 requests爬取免费代理2
1、明确需求,找到url通过在network中搜索数据发现旗云代理目前没有隐藏数据,直接根据网址请求即可2、进行数据的爬取import requestsimport parselimport timeimport osstart = time.time() # 程序开始时间proxy_list = [] # 接收爬取到的代理ipdef check_ip(proxies_list): # 检测代理的可用性 can_use = [] for proxy
2022-04-07 16:08:26 47490
原创 requests爬取ip代理
1、确定需求,找到URL现在很多网站给我们显示的页面是通过两个两个网页来显示的,因此会有两个URL一个是页面框架,一个是里面的数据,我们可以用谷歌浏览器进入页面=》右击=》检查=》选择network =》ctrl + f搜索页面中我们需要的数据(95.0.66.86)=》点击资源包 =》选择headers =》Request URL就是存储数据的URL2、进行数据的爬取import requestsimport osimport timestart = time.t
2022-04-07 14:19:03 90927
原创 requests模块爬取糗事百科图片用parsel解析
requests模块网页,parsel模块解析,用css选择器提取数据进行图片爬取,可能是因为我学过web前端吧,我觉得parsel解析是最简单并且准确的。
2022-03-04 06:00:00 364
原创 python 将数据写入csv文件
在我们python编写爬虫程序的时候在保存的时候经常用到csv文件,我在这篇博客里面分享两种数据保存为csv文件的方法。
2022-03-03 06:00:00 22138
原创 requests模块爬取糗事百科用xpath解析
这个案例用到了requests模块请求数据,xpath模块过滤数据最后爬取标题,内容以及图片url地址存储为csv文件
2022-03-02 06:00:00 207
原创 mysql数据库中excel数据的导入与导出
mysql与excel的数据之间不方便直接转换,但可以用txt文本文件作为他们的介质,以达到相互导入、导出的效果
2022-02-21 18:40:52 4226
原创 python多线程的使用
一个程序为一个进程一个进程包括一个或多个线程,python多线程可以理解为多个线程同时干不同的事情。Python3 线程中常用的两个模块为:_thread threading(推荐)用多线程与没用多线程的区别以下两个实例中他们都是调用的同一个函数,其中第一个实例没有用多线程,第二个调用 _thread 模块中的start_new_thread()函数来产生新线程第一个实例:# 第一个实例没用多线程import time # 导入模块def print_time
2022-02-14 06:00:00 1663 2
原创 python操作redis数据库
redis存放数据存放在我们电脑的内存中,处理数据很快,因此redis在我们python大数据中对数据处理的时候经常用到。
2022-02-09 06:00:00 1014
原创 python操作mysql数据库
在python大数据中,我们可以用数据库来存储数据,我这篇笔记是介绍python用pymysql连接mysql数据库。
2022-02-08 06:00:00 803
原创 python正则表达式的使用
正则表达式在很多编程语言里面都有出现,在javascript、sql、python……他们中的正则表达式基本大同小异,他的功能说直白一点就是对字符串进行筛选过滤。在python中正则表达式是封装在re模块中的。
2022-02-07 06:00:00 706
原创 python高级的学习
在我上一篇博客里面python基础学习笔记分享完毕了,前面的python基础笔记也是写的比较详细,后面python高级的笔记可能就不会把全部的笔记都分享出来了。因为我是python大数据专业的,我只会将python高级里面摘要大数据笔记分享出来。打个比方说一个用python搞web网站开发的,就没必要去学习算法,当然也可以去了解一下,但还是得抓住学习重点才是关键。我将python高级中大数据知识摘要做成了一张思维导图,后面的学习笔记我也将按照这张思维导图进行分享。总结:这些知识点我认为对
2022-02-06 06:00:00 408
原创 python日期和时间(datetime and time)
在python中日期和时间提供了三个常用模块,time(时间模块)、datetime(日期时间模块)以及calendar(日历模块)模块,不同于其他数据类型的是使用日期与时间类型时必须先导入模块。
2022-01-28 06:00:00 689
原创 python集合(set)
set天生去重(特点)set自动排序(特点)set用{ }定义,元素之间用,分隔创建空集合用set()。因为{}用来创建字典了。set支持数据的增,删set天生去重
2022-01-27 06:00:00 120
Navicat for MySQL数据库管理工具
2021-12-22
phpstudy_x64_8.1.1.2小皮工具
2021-12-22
关于#python#的问题,如何解决?
2022-03-06
selenium模拟登录qq空间滑块验证不释放求解决
2022-03-06
MySQL server is running with the --secure-file-priv option so it cannot execute this statement
2021-12-31
电脑蓝屏重启unexpected store exception
2021-12-31
TA创建的收藏夹 TA关注的收藏夹
TA关注的人