- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 好用的谷歌插件以及软件，提升你的工作效率，做一名合格的打工人
最近也没啥可写的，想来想去只好想到了这个话题，于是就想在这分享一些我平时所用到的不错的几款软件和插件。谷歌插件（国内下载插件的网址，国内是不能访问谷歌官网的）1、tampermonkey这是一款非常好用的插件，自己可以使用，如各种VIP的2、ads这是专门清理网页的广告的插件，非常的好用3、json-handle4、xpath helper5、infinity6、沙拉查词具体做啥我就不说了，名字就已经包含了应用程序1、安全卫士：火绒安全卫士，之前电脑
2021-01-06 11:02:49
529
原创 不到10分钟：使用pyecharts制作，制作热力图和地图
对于制作地图这一类的工具，其实有好多，比如tableau、PowerBI等等，但是它们都或多或少的有些弱点。故我们这次使用pyecharts制作图形，pyecharts官网链接，官网写的比较详细，并且有图形预览（点击gallery就可以跳转到预览界面），非常的nice。前期准备：需要安装好pyecharts库，python编译环境推荐使用jupyter notebook，因为它可以在底部实时的观察生成的图形，当然使用别的pycharm、vscode编译器也可以。1、根据自己的ex..
2020-12-22 14:43:23
5620
3
原创 不讲武德---不用代码爬虫
有人问我不会代码，我能爬虫吗？我，很快啊，回答：可以！不需要写代码的，那当然是需要工具了，较为熟知的爬虫工具有八爪鱼，和web scraper，这次我所使用的是web scraper。安装web scraper，这篇文章讲述的算清洗的了。开始操作：当你下好后，打开浏览器，检查（或按F12）应该是张这个样子：如果是这样，那么说明你已经安装好了我们可以开始操作了：...
2020-11-27 10:54:52
3658
11
原创 PTA实验11-1-7 藏头诗 (15 分)
C语言代码：在这里插入代码片#include <stdio.h>int main(){ char text[4][80]; for(int i=0;i<4;i++){ gets(text[i]); } for(int i=0;i<4;i++){ for(int j=0;j<2;j++){ printf("%c",text[i][j]);//因为中文占两个字节，所以应该 ..
2021-07-13 14:03:39
664
原创 PTA实验9-5查找书籍
语言C语言：#include <stdio.h>#include <stdlib.h>typedef struct Books{ char name[80]; double price;}books;//定义结构体int main(){ int n,minid=0,maxid=0; scanf("%d",&n); char temp=getchar();//需要使用getchar吸收scanf的换行符（记得没错的话...
2021-07-12 17:02:35
268
原创 不讲武德——不用代码爬虫二
之前说过较为简单的条件下使用web scraper，来进行采集豆瓣top250电影数据，这次我们要使用该工具，采集多页数据，不仅是一页，并且进行采集二级页面的数据。还是拿豆瓣top250，来举例。
2020-11-30 14:05:49
380
原创 C语言学习笔记
一、gets和getchar的区别1.一个需要变量参数、一个不需要2、gets是读一行数据，gets()不检查被写入的数组大小,所以即使定义的是100，但是你输入的字符可以大于100，但是输入有一个上限，一旦超过，系统会崩溃。getchar是读的单个字符二、对数组进行赋值操作（int型数组，字符串->字符数组）1、对字符串数组进行赋值操作。列举其中常用的方法int main(){ char stra[100]; int i=0,count=0; char str
2020-10-25 19:29:47
2641
1
原创 xpath+正则提取，解决80%的网页提取
上回说到了使用xpath提取页面的操作，但是会发现在使用的时候还是会出现或多或少的问题，要么是没有提取到，要么就是提出来的数据比较混乱。解决提取数据混乱的问题----->使用正则提取对于混乱数据提取最好的办法就是正则提取了，正则是一个比较高级的提取方法，正则的方法甚至可以出一本书，当然对于小白的我，无需知道的那么多，只要知道一点，就足以应对平时的应用。可以看这位博主写的正则表达式实际应用：https://www.wdzj.com/dangan/pp/gongshang/'''/html/b
2020-10-22 10:41:52
982
原创 用xpath来爬取网页
标题常见爬取网页时，提取数据的方法有xpath，正则提取，对于json数据使用功能jsonpath进行提取，在scrapy使用css进行提取。标题在这众多提取方法中这次使用xpath进行模拟我们所面对的数据，进行一般和特殊的数据提取。网址：https://www.xiazaiba.com/android/app/文章以该网站进行xpath提取数据。一、对于简单的数据来说，可以直接通过检查网页源码，之后进行copy其xpath的路径（提示：7、8成网页可以这样直接提取到）第一步：鼠标右键，检查网页
2020-09-09 17:45:47
4152
2
原创 scrapy爬取旋风网站APP
网址：http://www.xfdown.com/class/155_1.html######要求根据右侧的分类进行爬取，获取子页面的APP信息如名称、大小、出版商等一些信息，总数据27000多个，耗时20个小时，使用工具pycharm。废话少说直接上代码######遇到的问题：在爬取数据时，APP的公司和官方连接每个网页会有所不同，所以采取了两种xpath的情形进行采取。######注意事项：存储文件，写了两种的存储方式一种为csv，另一种为MongoDB，根据自己的情况进行选择，修改存储的方法，在
2020-08-24 15:40:44
4638
原创 用scrapy对京东手机板块进行爬虫（小白一枚，大佬勿喷！！！）
再次声明，本人是个小白，只是运用到自己所学习到的知识进行爬虫，请谅解！！话不多说，此次用的是scrapy框架。在此之前你需要稍了解常用的request库、re(正则表达式)、xpath（内容提取），还有就是python入门（很基础）的语法。当然使用他们必须要安装他们，安装的语法是 pip install scrapy，其他库同理。爬取网页网址https://list.jd.com/list.html?cat=9987%2C653%2C655&qrst=11.项目开始（一些必要的设置）使用s
2020-07-20 16:55:49
429
原创 爬取自如房源信息
难点自如的价格进行了css偏移：利用到的第三方库：requests,re,lxml,pymysql,pytesseract，其中的数据库要是没有可以删除save方法，若有可以自行进行搭建，用户账号和密码输入自己的。数据库字段设置如下显示：pytesseract这个库安装较为麻烦，具体操作可以看这个https://blog.csdn.net/luanyongli/article/details/81385284------这个文字较多其实操作起来很快的。如果安装好后用图片实验发现失败，可以把文件删了重
2020-07-20 16:54:00
250
原创 pandas对数据进行简单操作
pandas一个第三方开源库，安装方式pip install pandas，安装成功后在窗口端输入以下命令如果没报错则说明安装成功。如果速度过慢可以使用豆瓣的镜像进行安装。若是安装错误，可以删除重新安装卸载库的方式为pip uninstall pandas用pandas对Excel表进行操作，pandas可以对很多类型数据进行操作如text、json、csv等一些其他格式数据进行操作，在这里我就使用Excel了。##一些注意事项：1.在操作时避免数据操作失误，建议copy一份数据在进行操作：i
2020-07-20 16:47:10
496
原创 mogodb常见操作命令
MongoDB一种非关系数据库，优点是存储数据便捷，现在也越来越多的人开始使用，其操作指令与关系型数据库（如mysql）不太一样，以下是个人在加上网上的学习所总结的几种操作指令可以说MongoDB的集合（collection）等同于mysql的表(table)，而集合中的数据叫做文档等同于mysql表中的记录无论事mysql还是MongoDB都有图形化界面软件，常见的有Navicat,SQLyog,PhpMyadmin,Workbench等等一些，可以自行安装###全文所有的collection是你们
2020-07-20 16:43:50
131
Desktop.zip
2020-07-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人