大数据
文章平均质量分 87
我是一只代码狗
学习it我总结了五个字,听,问,看,想,敲
展开
-
influxdb时序数据库
influxdb 是一种时序数据库,用于监控场景,运维或者iot(物联网)领域这类数据库存储时序数据并实时处理下载并解压 启动influxdb 浏览器访问控制台http://192.168.10.102:8086/onboarding/0 创建用户名密码,组织名称,桶名称(数据库名称)转载 2023-11-25 23:25:06 · 26 阅读 · 0 评论 -
iceberg数据湖
iceberg数据湖转载 2023-11-25 18:27:11 · 31 阅读 · 0 评论 -
paimon流式数据湖平台
Paimon是一个流数据湖平台,具有高速数据摄取,变更日志跟踪和高效的实时分析的能力支持数据库变更日志(cdc)的流式同步或来自离线数据的批量插入和修改。转载 2023-11-23 22:06:17 · 283 阅读 · 0 评论 -
clickhouse入门
下载地址https://mirrors.aliyun.com/clickhouse/tgz/stable/clickhouse-server-22.2.2.1.tgzhttps://mirrors.aliyun.com/clickhouse/tgz/stable/clickhouse-common-static-dbg-22.2.2.1.tgzhttps://mirrors.aliyun.com/clickhouse/tgz/stable/clickhouse-common-static-22.2.2.1.转载 2023-11-22 16:46:50 · 97 阅读 · 0 评论 -
大数据同步框架nifi
解压并上传到/opt/module目录修改配置把这一行改掉。转载 2023-11-19 22:17:59 · 63 阅读 · 0 评论 -
datax离线同步框架
然后上传到下面的/opt/module目录 进行解压。然后再校验是否安装成功。转载 2023-11-18 17:56:18 · 40 阅读 · 0 评论 -
dolphinscheduler工作流调度平台
dolphinscheduler工作流调度平台转载 2023-11-15 00:23:55 · 101 阅读 · 0 评论 -
flume入门
flume入门转载 2023-11-11 20:38:41 · 31 阅读 · 0 评论 -
hbase2.x入门
hbase2.x入门转载 2023-11-08 21:09:43 · 56 阅读 · 0 评论 -
flink1.17入门
flink1.17入门转载 2023-11-01 19:55:44 · 246 阅读 · 0 评论 -
hive3.x入门
hive3.x入门转载 2023-10-25 16:26:40 · 121 阅读 · 0 评论 -
spark入门(4)
SparkStreaming转载 2023-10-23 16:55:51 · 39 阅读 · 0 评论 -
spark入门(3)
spark入门(3)转载 2023-10-14 20:53:45 · 61 阅读 · 0 评论 -
spark入门(2)
spark入门(2)转载 2023-09-24 13:05:06 · 67 阅读 · 0 评论 -
spark入门(1)
spark入门转载 2023-09-17 15:44:20 · 67 阅读 · 0 评论 -
scala2.12入门
scala2.12入门(1)转载 2023-09-09 14:00:13 · 228 阅读 · 0 评论 -
haddop3入门(6)
ha高可用就是7*24时不会挂掉如果NameNode挂掉,集群就无法使用了要想实现高可用,那就是在每一台机器上,都配置NameNode当其中一台机器挂掉后,可以将NameNode 很快的切换到其他机器上。转载 2023-09-07 22:15:30 · 84 阅读 · 0 评论 -
hadoop3入门(5)
hadoop3入门(5)转载 2023-09-02 22:09:51 · 56 阅读 · 0 评论 -
hadoop3入门(4)
hadoop3入门(4)转载 2023-08-26 21:50:33 · 92 阅读 · 0 评论 -
hadoop3入门(3)
hadoop3入门(3)转载 2023-08-20 19:40:38 · 94 阅读 · 0 评论 -
hadoop3入门(2)
hadoop3入门(1)转载 2023-08-20 13:15:08 · 102 阅读 · 0 评论 -
hadoop3入门(1)
hadoop3入门(1)转载 2023-08-13 15:23:19 · 261 阅读 · 0 评论 -
解决spark 2.4.4版本和其他jar冲突的依赖,需要用到exclusions去排除冲突的jar
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org...转载 2020-01-11 00:06:23 · 1211 阅读 · 0 评论 -
hadoop安装
https://www.jianshu.com/p/b7ae3b51e559转载 2019-12-17 22:19:30 · 82 阅读 · 0 评论 -
spark 启动报下面的系列错误,报错, 解决方法
1.Error:scalac: Scala compiler JARs not found (module 'sparkSql'): C:\Users\Administrator\.m2\repository\org\scala-lang\scala-compiler\2.11.8\scala-compiler-2.11.8.jar解决方法:pom.xml文件的<artifactI...转载 2019-12-16 22:44:37 · 2858 阅读 · 0 评论 -
解决 hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3报错
解决方法第一步:停止所有程序,进入/root/app/hadoop-2.6.0-cdh5.15.1/sbin 然后输入./stop-all.sh 这是我的目录(你的自己找)第二步: hdfs-site.xml 这样写[root@hadoop hadoop]# cat hdfs-site.xml<configuration> <property>...转载 2019-09-22 01:26:01 · 2699 阅读 · 0 评论 -
解决 hadoop调用job.waitForCompletion(true);这个函数为false和返回空指针
第一步 把linux的hadoop-2.6.0-cdh5.15.1.tar 下载到本地第二步 以管理员方式解压hadoop-2.6.0-cdh5.15.1.tar第三步 把对应版本的hadoop.dll(这个去https://github.com/steveloughran/winutils(/bin目录下)找对应的版本,我这边是2.6的版本),放到C:\Windows\System3...转载 2019-09-16 23:48:13 · 5762 阅读 · 1 评论 -
解决 hadoop使用copyToLocalFile(src,des)方法报NullPointerException
改成4个参数 第一个参数是是否删除掉源目录最后一个参数是是否使用本地文件系统,改用java的io流@Testpublic void xiazai()throws Exception{ Path src=new Path("/hdfsapi/test/a.txt"); Path dst=new Path("D:\\weixin\\"); fileSyste...转载 2019-09-15 17:34:31 · 306 阅读 · 0 评论 -
解决 调用copyFromLocalFile方法 java.io.FileNotFoundException File /xxx/xxx.txt does not exist.
因为我用的是windows机器连接linux 所以上传路径(src)要改成windows的路径Path src=new Path("D:\\weixin\\b.txt");Path dst=new Path("/hdfsapi/test/");fileSystem.copyFromLocalFile(src,st);...转载 2019-09-15 16:33:18 · 2868 阅读 · 0 评论 -
解决 "main" java.lang.IllegalArgumentException: java.net.UnknownHostException: hadoop主机没找到
ip能成功 但是主机报错,那么在本地配置hosts 你的windows电脑上面配置下就可以了转载 2019-09-15 02:29:14 · 1256 阅读 · 0 评论 -
解决 dependency org.apache.hadoop:hadoop-client:2.6.0-cdh5.15.1 not found
<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.6.0-cdh5.5.1</version></depen...转载 2019-09-15 01:35:30 · 13530 阅读 · 3 评论 -
在linux中输入jps 没有显示全部信息,需要重新启动
在hadoop的sbin目录下面执行./start-dfs.sh转载 2019-09-14 17:35:11 · 1497 阅读 · 0 评论