- 博客(14)
- 资源 (2)
- 收藏
- 关注
原创 hadoop完全分布式搭建
执行命令的前提是:必须要在jdk-8u162-linux-x64.tar.gz压缩包的目录下/opt/package。如果提示no such directory ,表示/root/.ssh路径不存在,所以需要先创建文件夹。1、ssh-copy-id: ssh master 需要密码登录,每台电脑都做三次。绝对是slave2的ip地址出现问题。我自己的路径跟教程的路径不一致怎么办?2、上传压缩包后,找不到我上传的文件在哪里。解压完后,需要在/opt/找解压后的文件。-C解压到指定的路径:/opt/
2024-08-01 09:41:07 335
原创 zookeeper的安装
root@master zookeeper]# cd conf/ #进入zookeeper的conf目录。dataLogDir=/opt/programs/zookeeper/log/ #修改zookeeper的日志存储路径。dataDir=/opt/programs/zookeeper/data/ #修改zookeeper的存储路径。tickTime=2000 # 定义的时间单元(单位毫秒),下面的两个值都是tickTime的倍数。.........省略......
2024-06-14 08:39:39 1079
原创 ClickHouse单点安装
大概35行左右找到CLICKHOUSE_GENERIC_PROGRAM这个变量名。tcp 9000端口被Hadoop占用所以修改为9001(大概82行)修改监听地址为ipv4形式(大概158行)输入y 服务器允许来自网络的连接。移除listen.xml监听文件。修改config.xml配置文件。查看clickhouse运行状态。安装过程需要用户自己定义密码。
2024-05-16 22:51:55 462
原创 Kafka案例2-kafka命令行的使用
(5)修改分区数(注意:分区数只能增加,不能减少)(3)创建名为firstkafka的topic。(6)再次查看firstkafka主题的详情。(4)查看firstkafka主题的详情。(2)查看当前服务器中所有的topic。(1)查看topic的命令参数。(7)删除topic。
2024-05-16 15:15:52 1142
原创 Kafka案例1-Kafka的安装
kafka/config/server.properties 中的 broker.id 及 advertised.listeners。(1)先启动zookeeper集群,然后启动kafka。(2)依次在master、slave1和slave2节点上启动kafka。3、进入到/opt/program/kafka 目录,修改配置文件。5、分别在 slave1和 slave2上修改配置文件。7、分发环境变量文件到其他节点,并 source。4、分发到slave1和slave2。2、修改解压后的文件名称。
2024-05-06 12:13:34 1562 1
原创 Flume案例3-监听整个目录
说明:在使用 Spooling Directory Source 时,不要在监控目录中创建并持续修改文件;上传完成的文件会以.COMPLETED 结尾;被监控文件夹每 500 毫秒扫描一次文件变动。使用 Flume 监听整个目录的文件,并上传至 HDFS。(1)创建配置文件 flume-dir-hdfs.conf。(5) 查看HDFS文件是否有upload文件。(4)向 data文件夹中添加文件。
2024-04-26 08:38:28 1053 2
原创 Flume案例2-实时监控单个追加文件
检查/etc/profile.d/my_env.sh 文件,确认 Hadoop 和 Java 环境变量配置正确。日志在 Linux 系统中所以读取文件的类型选择:exec 即 execute 执行的意思。注意:对于所有与时间相关的转义序列,Event Header 中必须存在以 “timestamp”的。注:要想读取 Linux 系统中的文件,就得按照 Linux 命令的规则执行命令。(2)创建 flume-file-hdfs.conf 文件。(4)更改test.log文件。动添加 timestamp)。
2024-04-25 14:29:03 1456 7
原创 Flume案例1-监控端口数据
(1)将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/package目录下。(4)在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。(2)解压 apache-flume-1.9.0-bin.tar.gz 到/opt/program/目录下。(5)在 flume-netcat-logger.conf 文件中添加如下内容。(3)修改 apache-flume-1.9.0-bin 的名称为 flume。
2024-04-22 13:28:08 2176 1
原创 数据仓库小案例-kobe_shot
在第一个分区中会有两个区域"2PT Field Goal"和”3PT Field Goal“,第二个分区在第一个的每个分区内有六个分区(”Back Court(BC)”,”Center(C)”,”Left Side Center(LC) ”,”Left Side(L)”, ”Right Side Center(RC)”,”Right Side(R)”)2、第一次插入shot_type="2PT Field Goal" and shot_zone_area="Center(C)"的数据。
2023-11-22 15:02:07 150
原创 sqoop安装
由于没有HBASE,可以先不填HBASE-HOME。HADOOP_COMMON_HOME和HIVE_HOME需要根据自己本机实际的安装地址进行填写。4、重命名,并进入到文件夹目录,修改配置文件。2、上传到路径/opt/package。3、解压到/opt/programs。在最后两行输入以下配置。7、测试连接mysql。5、配置系统环境变量。
2023-11-10 15:18:45 468 1
ResultBrowser
2016-01-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人