- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 zookeeper的安装
root@master zookeeper]# cd conf/ #进入zookeeper的conf目录。dataLogDir=/opt/programs/zookeeper/log/ #修改zookeeper的日志存储路径。dataDir=/opt/programs/zookeeper/data/ #修改zookeeper的存储路径。tickTime=2000 # 定义的时间单元(单位毫秒)，下面的两个值都是tickTime的倍数。.........省略......
2024-06-14 08:39:39
955
原创 ClickHouse单点安装
大概35行左右找到CLICKHOUSE_GENERIC_PROGRAM这个变量名。tcp 9000端口被Hadoop占用所以修改为9001（大概82行）修改监听地址为ipv4形式（大概158行）输入y 服务器允许来自网络的连接。移除listen.xml监听文件。修改config.xml配置文件。查看clickhouse运行状态。安装过程需要用户自己定义密码。
2024-05-16 22:51:55
437
原创 Kafka案例2-kafka命令行的使用
(5)修改分区数（注意：分区数只能增加，不能减少）(3)创建名为firstkafka的topic。(6)再次查看firstkafka主题的详情。(4)查看firstkafka主题的详情。(2)查看当前服务器中所有的topic。(1)查看topic的命令参数。(7)删除topic。
2024-05-16 15:15:52
1076
原创 Kafka案例1-Kafka的安装
kafka/config/server.properties 中的 broker.id 及 advertised.listeners。（1）先启动zookeeper集群，然后启动kafka。（2）依次在master、slave1和slave2节点上启动kafka。3、进入到/opt/program/kafka 目录，修改配置文件。5、分别在 slave1和 slave2上修改配置文件。7、分发环境变量文件到其他节点，并 source。4、分发到slave1和slave2。2、修改解压后的文件名称。
2024-05-06 12:13:34
1486
1
原创 Flume案例3-监听整个目录
说明：在使用 Spooling Directory Source 时，不要在监控目录中创建并持续修改文件；上传完成的文件会以.COMPLETED 结尾；被监控文件夹每 500 毫秒扫描一次文件变动。使用 Flume 监听整个目录的文件，并上传至 HDFS。（1）创建配置文件 flume-dir-hdfs.conf。(5) 查看HDFS文件是否有upload文件。（4）向 data文件夹中添加文件。
2024-04-26 08:38:28
1002
2
原创 Flume案例2-实时监控单个追加文件
检查/etc/profile.d/my_env.sh 文件，确认 Hadoop 和 Java 环境变量配置正确。日志在 Linux 系统中所以读取文件的类型选择：exec 即 execute 执行的意思。注意：对于所有与时间相关的转义序列，Event Header 中必须存在以 “timestamp”的。注：要想读取 Linux 系统中的文件，就得按照 Linux 命令的规则执行命令。（2）创建 flume-file-hdfs.conf 文件。（4）更改test.log文件。动添加 timestamp）。
2024-04-25 14:29:03
1417
7
原创 Flume案例1-监控端口数据
（1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/package目录下。（4）在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。（2）解压 apache-flume-1.9.0-bin.tar.gz 到/opt/program/目录下。（5）在 flume-netcat-logger.conf 文件中添加如下内容。（3）修改 apache-flume-1.9.0-bin 的名称为 flume。
2024-04-22 13:28:08
2130
1
原创 数据仓库小案例-kobe_shot
在第一个分区中会有两个区域"2PT Field Goal"和”3PT Field Goal“，第二个分区在第一个的每个分区内有六个分区（”Back Court(BC)”，”Center(C)”，”Left Side Center(LC) ”，”Left Side(L)”, ”Right Side Center(RC)”，”Right Side(R)”）2、第一次插入shot_type="2PT Field Goal" and shot_zone_area="Center(C)"的数据。
2023-11-22 15:02:07
115
原创 sqoop安装
由于没有HBASE，可以先不填HBASE-HOME。HADOOP_COMMON_HOME和HIVE_HOME需要根据自己本机实际的安装地址进行填写。4、重命名，并进入到文件夹目录，修改配置文件。2、上传到路径/opt/package。3、解压到/opt/programs。在最后两行输入以下配置。7、测试连接mysql。5、配置系统环境变量。
2023-11-10 15:18:45
439
1
ResultBrowser
2016-01-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人