- 博客(12)
- 收藏
- 关注
RSS订阅原创 Zookeeper的集群搭建与部署
Zookeeper是雅虎公司基于chubby的思想，开发的一个分布式协调组件，后来捐献给Apache公司。它主要用来解决分布式数据一致性问题。分布式应用程序可以基于它实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、配置管理、分布式锁和分布式队列等功能。
2023-11-11 18:40:27
424
1
原创 percharm中的天气数据采集
复制网页的地址，获取景点推荐的文本内容。对象，并将打开的文件作为其参数传递。格式写入本地，并设置编码格式。writerow() 函数。4.使用 writer。将数据写入 CSV 文件。分析原因：编码格式不对应。5.运行一下，打印地址。5.添加读取文本内容。
2023-11-05 14:17:13
73
1
原创 flume的安装与配置
配置文件内容内容：export JAVA_HOME=/opt/ruanjian/jdk。ps:如果没有设置软连接环境中的flum后面要跟版本号。2.进入package上传flume压缩包。提取码：wanh（永久生效））1、下载flume的gz包。4.解压到ruanjian。3.查看压缩包是否存在。重启环境变量 核心代码。8.检验是否安装成功。
2023-10-08 11:21:34
127
1
原创 Hadoop集群的搭建
然后修改windows的hosts的文件（C:\Windows\System32\drivers\etc），在顶部加入如下信息。修改/etc/profile配置文件，在文件尾部添加如下信息，指令 vi /etc/profile。确保安装了jdk和hadoop并且配置了环境变量，最好都是同样的路径。这里写子节点的配置信息，IP地址或者主机名都可以，最好跟（7）一致。找到下图位置，将注释去掉，路径改成自己的jdk安装路径。找到如图位置，去掉注释，将路径改成自己的jdk安装路径。
2023-10-06 22:00:41
43
1
原创 Python入门知识(while ， for 循环等)
/打印第一个加上第二值的和等于第三个值，接着第二个值加上第三的值等于第四个值，一直循环下去直到i等于100结束。五.for循环三个部分，第二个条件不能使用，分割多个条件，只能使用逻辑与、逻辑或，其他两个部分都可以使用逗号来分割多个语句内容。在python中，pass的意思是空语句，pass语句不做任何事情，只是为了保持程序结构的完整性。2、for语句也是一个结构复杂的语句，虽然简化代码，如用不熟也会适得其反。//打印0-100的数字的和。循环变量用于保存本次循环中访问到的遍历结构中的元素；
2023-10-06 20:38:49
82
1
原创 关于Hadoop的集群分发以及部分问题解析
这个问题大多数是因为脚本文件在windows下编辑过，配置信息被改了，解释器就坏了，在windows下，每一行的结尾是\n\r，而在linux下文件的结尾是\n，那么你在windows下编辑过的文件在linux下打开看的时候每一行的结尾就会多出来一个字符\r,用cat -A urfile时你可以看到这个\r字符被显示为^M，这时候只需要删除这个字符就可以了。注意，与JDK不同的是，JDK添加环境变量只是到bin目录，而Hadoop的环境变量还要添加一个sbin。②重新上传一个正确的新的文件。
2023-09-24 13:28:51
273
原创 Hadoop集群搭建以及注意事项
一.hadoop的应用Hadoop是一个大数据技术的集合体，由Java开发，支持多种编程语言。它的应用比较广泛，可以通过Java编写WriteHDFS应用。WriteHDFS应用是用于将数据写入Hadoop分布式文件系统（HDFS）的工具。此外还可以数据导入和导出工具Sqoop，用于在Hadoop和传统数据库之间进行数据传递。二.hodoop集群搭建确保你的虚拟机之间可以通过免密登录进行通信。如果不清楚如何进行免密登录，可以参考Linux中root用户之间的免密登录的教程。
2023-09-16 10:20:32
328
原创 Xshell连接不上虚拟机的解决办法（虚拟机和本机都可以联网的情况下）
如果输入以上命令Xshell还是连接不上虚拟机，那么执行下面这条命令就可以了。②.如果没关，输入下面这个指令关闭 sudo ufw disable。②如果没有启动，请输入命令启动service ssh start。如果提示没有安装的话，用这个命令安装（如果已使用root权限，①输入命令检查是否启动ps -e | grep ssh。2.再打开Xshell，选择相应的会话窗口重新连接。ps：如果是以root权限输入，sudo可省略。，找到占用该端口的程序，把那个程序关掉。①输入命令检查是否安装SSH客户端。
2023-09-09 13:59:01
2498
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人