- 博客(8)
- 收藏
- 关注
RSS订阅原创 Sqoop，Flume 安装,配置
为了sqoop能够连接hive，要将/usr/local/src/hive/lib/hive-common-3.1.3.jar 放入./sqoop/lib/ 下。为了sqoop能够连接mysql数据库，所以要将mysql-connector-java-5.1.47.jar放入./sqoop/lib/ 下。解压之后我这里重命名文件为，sqoop，flume，不这样做的记得环境变量配置要注意路径名。修改配置文件中如下配置，保证路径与实际安装路径一致。
2023-04-18 09:58:34
151
原创 集群配置，ssh免密登录
在master上采用root，hadoop账号，配置一下无密登录到master、slave1、slave2虚拟机；（这里我的集群三台虚拟机为master，slave1，slave2，要根据自己的虚拟机更改命令）在slave1上采用hadoop账号配置一下无密登录到master、slave2虚拟机上。在slave2上采用hadoop账号配置一下无密登录到master、slave2虚拟机上。ps：因为这里我搭建的是集群，后续使用虚拟机上的hadoop用户来进行操作集群的启动，（2）生成公钥和私钥。
2023-03-23 09:44:08
613
原创 集群配置，网络配置部分
将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件。这里使用的是VMware Workstation 创建的虚拟机，比较好用一点。进入C:\Windows\System32\drivers\etc路径。（密码设置为hadoop,k可以自选修改）（c）打开桌面hosts文件并添加如下内容。（b）拷贝hosts文件到桌面。主机名，设置成master。如有侵权，请联系作者下架。
2023-03-22 12:04:55
454
原创 集群配置，hadoop配置过程，细节满满
(2)如果你的集群虚拟机已经都创建完成，且确保网络，ssh密钥登陆 都做好了后，就可以开始安装jdk和hadoop了。/usr/local/src/hadoop/etc/hadoop 中的对应配置文件中加入下面的相关参数。这一步是集群配置的关键。做一个hadoop的配置流程的全记录，把遇到的问题和细节全都记录了下来。选择下载hadoop的版本，下载对应版本的source安装包。进入安装目录，修改对应安装包文件名，改成jdk，hadoop。(1) hadoop的部署规划，我使用3台虚假机搭建集群，
2023-03-21 16:57:35
1832
空空如也
django+celery+websocket问题
2024-02-15
django+celery+websocket无法正常运行
2024-02-15
搭建hadoop集群，hbase出现问题
2023-02-27
TA创建的收藏夹 TA关注的收藏夹
TA关注的人