- 博客(6)
- 收藏
- 关注
RSS订阅原创 如何编写Flume数据迁移文件~(检测文本内容）
3.进入刚才我们所打开的Flume中文网中 在Flume Sources ，Flume Sinks ，Flume Channel中 各找一个配置文件（1.我们需要打开Flume的中文网 （注：点击链接进行Flume中文网的跳转。a1.channels = c1：定义了一个通道（channel）的别名为 c1。a1.sinks = k1：定义了一个数据汇（sink）的别名为 k1。在tail -F / 后修改为我们创建的文本的一个路径。（注 ：图中所圈的部分 是已经进行修改过之后的）
2023-10-14 21:40:51
98
1
原创 怎么在静态网页进行数据采集？
核心代码：response = requests.post(beike_url, cookies=cookies, headers=headers,data=data)核心代码：1.item = [xiaoqu_name,xiaoqu_address,xiaoqu_price] (注：添加的数组）1.首先选择一个要进行数据采集的网址 打开我们要进行数据采集的网址 （例如：选择获取租房网页的数据采集。这里我们首先要获取小区的名称 小区的地址 小区的价格的xpath地址 且需要将它们打印出来。
2023-10-13 15:40:24
847
原创 第二篇：获取标签文本内容
3.list_2_element = selector.xpath('//li[@class="line-message"]/a/text()')[1]：这行代码使用XPath表达式从文档中选择具有 class 属性值为 "line-message" 的所有 <li> 元素下的 <a> 元素的文本内容，并将索引为 1 的元素的文本内容存储在变量 list_2_element 中。它的作用是显示被选中的具有 "line-message" 类的 <li> 元素下的第二个 <a> 元素的文本内容。
2023-10-05 18:47:22
426
原创 第一篇：hadoop技术
第四步是SSH工具的部署与使用 这里我们需要先下载SSH工具和安装FinalShell 工具 然后与虚拟机进行连接 （连接的ip地址是 对应每台虚拟机的ip地址）要修改相应的参数（注：这里的参数是 我们查看NAT模式网段里的 参数）修改后重启我们的网络配置 再进行修改主机名。在进行集群搭建和部署中 我们首先需要进行jdk的安装和配置 （我们需要在我们的文件下 创建pack和servers。第三步是虚拟机的网络配置 （在进行网络配置时 我们需要修改静态ip 这个静态ip 是我们此电脑的。
2023-10-05 18:05:25
59
原创 【无标题】Hadoop~CSDN
6.总结：本周的Hadoop生态体系技术 我们将 hadoop的安装与配置 ，修改hadoop的配置文件 以及 将修改i好后的hadoop文件拷贝到了其他节点 主要的出现的问题有以下几个方面 ：1.网络配置的问题 没有统一ip地址 导致java 不能进行识别 2.修改配置的文件 出现少打 或者打错的问题 导致最后的进程出现少的情况 3.文件命名问题 如 工单上面是hadoop 而我的是hadoop-3.2.2 需要补全 才能进行识别。3.在本周我们修改了hadoop的配置文件 此过程中我出现了。
2023-09-23 22:22:54
34
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人