自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 问答 (4)
  • 收藏
  • 关注

原创 R语言(6) 双坐标图

R语言 双坐标图

2022-10-05 16:23:13 1099 1

原创 R语言(5) 折线图、散点图

R语言 折线图、散点图

2022-10-04 22:54:44 3641

原创 Python算法——求集合的所有子集

求集合的所有子集

2022-10-03 18:55:09 2983

原创 R语言(4) plot函数介绍

plot函数

2022-10-01 19:52:21 7802

原创 R语言(3) 数据框操作

数据框操作实例

2022-09-30 13:20:15 465

原创 R语言(2)复杂数据类型

R语言复杂数据类型

2022-09-25 13:23:42 858

原创 R语言(1)基本数据类型

R语言基本数据类型

2022-09-24 19:49:41 1502

原创 python---matplotlib详细教程(完结)

python--matplotlib详细教程

2022-08-03 16:17:53 6635 1

原创 Pandas详细总结(20000字 完结)

pandas详细总结(两万字)知识点搭配案例,内容全面而详细

2022-08-01 16:42:35 1571

原创 歌词评论可视化|生成词云图

本文抓取的是某音乐评论,将数据保存到mysql数据库,并生成词云。

2022-07-20 17:41:59 652 3

原创 爬虫数据保存到mysql数据库

简单的爬虫,把爬取数据保存到mysql数据库

2022-07-19 18:17:08 481

原创 python实现简易学生管理系统

python基本语法 实现简易的学生信息系统

2022-07-17 14:33:54 1862

原创 爬虫疫情数据可视化(可视化图表)

由于本人才疏学浅,难免有纰漏,欢迎指正。由于本篇文章内容过多,本文只提供大致思路和分享代码,如有运行相关问题,请留言。

2022-07-03 21:42:40 2729 16

原创 python爬虫-电影数据抓取

1、进入此次爬取的页面点这里。2、按F12—> network3、ctrl+r 刷新 如图搜索一个电影名,找到数据位置,然后查看4、找到请求的url ‘?’后边的是参数,不要带上5、参数单独拿出来start:0 代表的是排行榜的第一部电影limit:20 代表的是一次返回20条数据(20部电影)start和limit都可以更改6、大致先看一看拿到的数据类型,然后解析,从其中拿到自己想要的数据 7、开始编写代码: 运行代码,查看结果: 拿到的的确是两条数据,然后从其中选择自己想要的数据出来,进行可视

2022-06-13 16:22:06 12003 7

原创 ETL的使用过程中遇到的坑(ETL中文乱码)

这里是我的表:然后连接测试:检查SQL语法没问题,很显然这是乱码了2 解决方法:再次测试:ok 解决!!!

2022-05-31 13:32:44 402

原创 python-爬虫 抓取美食板块商家数据

import pprintimport requestsimport csvimport reurl='http://meishi.meituan.com/i/api/channel/deal/list'headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/9...

2022-05-07 21:08:31 1204 5

原创 python 常用的正则表达式

正则:用来匹配字符串的一门表达式语言测试的方法:https://tool.oschina.net/regex/1.支持普通字符2.元字符:就一个符号来匹配一堆内容\d能够匹配一个数字(0-9)\w能够匹配数字,字母,下划线(0-9,a-z,A-Z,_)\W除了数字,字母,下划线以外的内容\D除了数字以外的内容[abc]匹配a,b,c[^abc]除了a, b,c.除了换行符以外的其他所有内容都可以被匹配量词3.量词:控制,前面元字符出现的频次+:前面的元字符出现

2022-05-06 19:00:29 333

原创 python爬取动态加载数据过程解析

微博视频抓取的思路:整个页面中的视频就在这些component?包里,一个包里面是8个视频,进一步观察:请求地址一样,只是post请求携带的data不一样,根据提交不同的data就可以得到不同的数据接下里,只需找到next_cursor如图,就是第一个component包里携带的next_cursor是请求下个包所用的一小部分参数,所以只需要更换data里边的next_cursor,就可以抓取所有的视频。抓取这些包的目的主要是获取里边的一个oid值,这个...

2022-04-29 13:34:17 920

原创 scrapy框架初识04-CrawlSpider

CrawlSpider:类,Spider的一个子类-全站数据爬去方式:-基于Spider:手动请求 -基于:CrawlSpider

2022-04-19 14:23:16 648

原创 scrapy框架03

- 中间件 - 下载中间件 - 位置:引擎和下载器之间 - 作用:批量拦截到整个工程中所有的请求和响应 - 拦截请求: - UA伪装:process_request - 代理IP:process_exception:return request - 拦截响应: - 篡改响应数据,响应对象这是我自己随便写的一个爬虫实例,爬取视频。scrapy框架+seleni.

2022-04-10 17:46:50 1193 1

原创 scrapy框架初识02

目录基于Spider的全站数据抓取五大核心组件:基于Spider的全站数据抓取- 就是将网站中某板块下的全部页码对应的页面数据进行抓取- 需求:爬取 https://pic.netbian.com/4kmeinv/的照片的名称- 实现方式: - 将所有页面的url添加到start_urls列表(不推荐)- 自行手动进行请求发送(推荐)...

2022-04-07 17:16:46 931 8

原创 scrapy框架初识1

目录scrapy框架介绍:scrapy框架的基本使用:scrapy数据解析操作:​scrapy持久化存储:将爬取到的数据一份存储到本地一份存储到数据库,如何实现?scrapy框架介绍:框架就是一个集成了很多功能并且具有很强通用性的一个项目模板。scrapy框架:是爬虫中封装好的一个明星框架。功能:高性能的持久化存储,异步的数据下载,高性能的数据解析,分布式。scrapy框架的基本使用: —环境的安装:pip install scra...

2022-04-05 15:03:15 6339

原创 小题练习:最大公约数计算

#最大公约数可用辗转相除法,最小公倍数则用两个数的积除以最大公约数即可a,b=eval(input("请输入两个整数,中间用,隔开:"))c=a*bif a<b: a,b=b,awhile False==(a in [0,1]): b,a=a,b%ac=c/bprint("最大公约数为:{},最小公倍数为:{}".format(b,c))...

2022-03-29 14:56:50 378

原创 点选文字验证码识别

最近在学习爬虫,碰到很多验证登录,今天分享一个点选文字验证码识别以及我在使用的验证码识别平台。(上篇文章有涉及滑块验证)首先,注册一个超级鹰账号,选择充值0.5-1元即可。进入用户中心 > 软件ID 生成一个用来接入接口的软件ID,下载示例代码,然后就可以在pycharm中使用。超级鹰可以识别多种类型,b站验证码属于‘9004’以b站验证码为例:具体方法:首先模拟登录b站,进行登录,然后对验证码图片进行截图,使用screenshot()函数,将保存的图片传递给第三方平.

2022-03-28 22:27:44 3923 11

原创 selenium 实战模拟登陆

首先下载selenium模块,pip install selenium,下载一个浏览器驱动程序(我这里使用谷歌)。#需要用到的所有包from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom selenium.webdriver.common.by import Byfrom time import sleepfrom selenium.webdriver import A

2022-03-26 19:32:41 4413 12

原创 无头浏览器+规避检测

from selenium import webdriverfrom selenium.webdriver.chrome.service import Service#实现无可视化界面(无头浏览器)from selenium.webdriver import ChromeOptionsoption=ChromeOptions()option.add_argument('--headless')option.add_argument('--disable-gpu')s=Service("chr.

2022-03-25 23:35:08 584

原创 python使用selenium模拟浏览器进入好友QQ空间留言

python使用selenium模拟浏览器进入好友QQ空间留言

2022-03-25 15:42:45 1629 12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除