- 博客(3)
- 收藏
- 关注
RSS订阅原创 爬虫——有关抖音商品数据的爬取（蝉妈妈数据平台）
总体代码运用了selenium自动化模块，能够有效地应对平台的反爬机制，从而有效地获取到网页的数据，但又由于使用的是selenium自动化模块，所以总体的代码运行效率不是很高，耗时长。整个数据预处理总体上使用了excel的功能，虽有效地解决了要解决的问题，但有些处理过程并不简单有效率，预处理只做了剔除重复值，删除空白字段，和对销售区间进行等级映射赋值，还有其他的预处理过程并未进行，使得数据格式或有效程度未达到最大。
2023-08-26 11:02:39
7383
7
原创 2021-06-08Hadoop集群搭建
Hadoop集群搭建一．网络配置以Hadoop伪分布式为基础，已创建hadoop用户。并拥有1台虚拟机作为Master节点，N台虚拟机作为Slave节点。首先先将虚拟机的网络配置进行修改，将网络里面的连接方式改为桥接网卡，使得接下来的每个节点的Mac地址不同。打开虚拟机，使用 ifconfig 命令查看各台虚拟机的IP地址。3. 因各台虚拟机创建后的主机名都是hadoop，为加以区分，修改各台虚拟机的主机名，例如改成Master，Slave1，Slave2……使用 sudo vim /et
2021-06-08 19:13:42
196
2
原创 Hadoop安装教程_单机/伪分布式配置---------常见的问题
Hadoop文件安装时的问题在Hadoop安装时，要配置JAVA环境变量，注意要下载与之后操作相对应的版本，否则会出现很多问题。下载Hadoop文件，注意要如同1一样，要下载与JAVA版本相对于的版本，否则会出现不可以调用的问题。Hadoop伪分布式时的问题<configuration> </configuration>按照安装教程进行伪分布式配置的修改配置文件时，要注意<configuration> </configuration>这个标签只
2021-04-18 19:22:20
788
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人