- 博客(8)
- 收藏
- 关注
原创 xpath爬取害虫
首先先进入网站http://www.gengzhongbang.com/haichongtupu/banchimuhaichong/URL就是网址,headers看图一headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.7 Safari/537.36'}# URL就是网址,headers看图一
2021-04-19 18:49:05
261
1
原创 爬虫:实现自动爬取百度图片
先以搜索词“资产债券表”为例:我们在百度图片中搜索“资产债券表”,向下滑动网页时,图片会不断加载,因此该网页是动态加载的网页,按F12,选择网络,在消息中选择过滤XHR消息。可以看出,该请求为GET请求,返回的是一个JSON文件,查看响应消息,里面的data蕴含着我们想要获取的每个图片的url。由此,我们可以利用requests模块的get方法模拟浏览器发送请求,获得其对应的JSON数据。可能使用到的头文件有:import reimport osimport requests使用re
2021-04-17 20:59:18
742
6
原创 安装pytorch总是出错怎么办?
安装pytorch一直出现Collecting package metadata (current_repodata.json): failed / Solving environment: failed这个问题,百度了一下找到了解决方法。这是我看的博客链接: https://blog.csdn.net/miracleoa/article/details/106039388.里面有很多解决方法,我用下面的方法装好的:根据博客https://blog.csdn.net/weixin_41622348/a
2021-01-17 15:59:36
1814
1
原创 数据可视化实战:做词云展示
数据可视化实战:做词云展示这个词云是大数据可视化的重要方式,就是把文本中的关键词进行展示,就是很高大上![在这里插入图片描述](https://img-blog.csdnimg.cn/cover1/259956915756597403.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,image_MjAyMDA3MTUxNjIxMDEzOC5wbmc=,size_16,color_FFFFFF,t_70,image/re
2021-01-13 01:24:18
1895
1
原创 SQL语句
SQL语句:是数据库的核心语言查询:select 字段,字段 from 表名例1:查询li表中name和title字段select name,title from li;例2:查询li表中所有字段,用 * 表示所有select * from li;例3:查询li表中id=2的数据select * from li where id=2;例4:查询li表中id中不等于2的数据select * from li where id<>2;(或!=2)添加:insert into 表名
2021-01-07 23:45:34
115
原创 数据科学导论复习
数据科学导论复习一.大数据、云计算、物联网之间的关系:大数据继承自云计算;云计算为大数据提供了技术基础,大数据为云计算提供用武之地;云计算为物联网提供海量数据存储能力,物联网为云计算技术提供了广阔的应用空间;物联网是大数据的重要来源,大数据技术为物联网数据分析提供支持。二.人工智能与大数据的联系:人工智能需要数据来建立其智能,特别是机器学习;大数据技术为人工智能提供了强大的存储能力和计算能力。三.KNN算法的思想是:寻找与待分类的样本在特征空间中距离最近的K个已标记样本(即K个近邻),以这
2021-01-07 23:08:28
640
原创 期末复习Java
期末复习Java1.类Circle的包名为my.shape,源程序文件保存在d:\myjava\ch1\Circle.java,假设运行cmd命令后当前目录为:d:\users,而编译后的Circle.class需要放在d:\install\my\shape文件夹下。下则此时输入的编译命令为:javac -d d:\install d: \myjava\ch1\Circle.java-d:自动建包后面加编译后的class所放的位置,注意不能带包名,以及源程序文件所在位置。2.此时class
2020-12-24 15:46:53
253
原创 python
这里写目录标题一级目录二级目录三级目录一.程序设计基本方法1.Python语言的特点2.程序设计语言概述3.编译和解释4.Python最小程序5.Python开发环境配置安装6.Python解释器7.Python程序的编辑方式8.Python程序的运行方式9.IPO程序编写方法(1)输入数据(2)处理数据(3)输出数据一级目录二级目录三级目录一.程序设计基本方法1.Python语言的特点2.程序设计语言概述程序设计语言是计算机能够理解和识别用户操作 意图的一种交互体系,它按照特定规则组织计算
2020-11-01 17:37:09
779
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人