大数据
秋叶清风
IT开发者
展开
-
phoenix Missing parentheses in call to ‘print‘. Did you mean print(“phoenix_class_path:“, phoenix_cl
(base) [root@node01 apache-phoenix-5.0.0-HBase-2.0-bin]# bin/sqlline.py node01:2181Traceback (most recent call last):File “bin/sqlline.py”, line 25, in import phoenix_utilsFile “/export/servers/apache-phoenix-5.0.0-HBase-2.0-bin/bin/phoenix_utils.py”,转载 2022-05-13 15:48:06 · 337 阅读 · 0 评论 -
kettle json input组件 Unable to access your JSON data
Unable to access your JSON data It looks like the location you specified is either incorrect or you do not have access. Check your settings in the File tab and try again. 用 kettle 的 JSON input组件输入时,点击 select fileds 时,出现以上异常。原因是我的json 文件路径中包含了 “+”,因此识别.原创 2022-04-07 14:41:43 · 1304 阅读 · 0 评论 -
hbase Caused by: java.lang.ClassNotFoundException: org.apache.commons.compress.utils.InputStreamStat
异常信息Caused by: java.lang.ClassNotFoundException: org.apache.commons.compress.utils.InputStreamStatistics at java.net.URLClassLoader.findClass(URLClassLoader.java:381) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at sun.misc.Launcher$AppCl.原创 2022-03-09 15:45:56 · 2318 阅读 · 1 评论 -
hive 的特点
hive 的特点使用类sql来分析大数据,适用于离线分析数据存储在 HDFS 上,Hive 不提供数据的存储功能,它可以使已经存储的数据结构化Hive是将数据映射成数据库和一张张的表,库和表的元数据一般存储在关系型数据库上(比如 mysql)...原创 2022-02-10 11:29:53 · 2136 阅读 · 0 评论 -
kafka启动闪退( ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaSer)
执行:nohup bin/kafka-server-start.sh config/server.properties &进入日志:cd /export/servers/kafka_2.12-2.4.1/logscat server.log查看报错信息:[2021-11-24 14:19:31,577] INFO [ZooKeeperClient Kafka server] Connected. (kafka.zookeeper.ZooKeeperClient)[2021-11-24原创 2021-11-24 15:06:05 · 5581 阅读 · 2 评论 -
elasticsearch PUT GET POST DELETE 的操作
PUT 添加数据 PUT /job_idx/_doc/29097{ "area": "深圳-南山区", "exp": "1年经验", "edu": "大专以上", "salary": "6-8千/月", "job_type": "实习", "cmp": "乐有家", "pv": "61.6万人浏览过 / 14人评价 / 113人正在关注", "title": "桃园 深大销售实习 岗前培训", "jd": "薪酬待遇)"}.原创 2021-09-26 09:44:47 · 231 阅读 · 0 评论 -
elasticsearch报错
启动的时候报错:unknown setting [uster.name] did you mean [cluster.name]?unknown setting [uster.name] did you mean [cluster.name]?因为我是从文档上复制下来elasticsearch.yml的信息,可能是空格格式的问题。我重新删除了空格再加上就可以了...原创 2021-09-25 14:07:09 · 1721 阅读 · 0 评论 -
phoeinx报错、格式错误
新增数据时:UPSERT INTO “ORDER_DTL” VALUES(‘02602f66-adc7-40d4-8485-76b5632b5b53’,‘已提交’,4070,1,‘4944191’,‘2020-04-25 12:09:16’,‘手机;’);报错信息:UPSERT INTO "ORDER_DTL" VALUES('02602f66-adc7-40d4-8485-76b5632b5b53','已提交',4070,1,'4944191','2020-04-25 12:09:16','手机;'原创 2021-09-08 11:58:26 · 1008 阅读 · 1 评论 -
yarn的调度器
前言:小编引入的图片和文字描述都是来自于传智播客的视频讲解,在此感谢传智播客的老师原创 2021-08-25 11:20:26 · 80 阅读 · 0 评论 -
MapReduce的编程规范
前言:小编引入的图片和文字描述都是来自于传智播客的视频讲解,在此感谢传智播客的老师MapReduce的开发一共有八个步骤:Map阶段分为两个步骤、shuffle阶段分为四个步骤、Resuce阶段分为两个步骤Map 阶段 2 个步骤设置 InputFormat 类, 将数据切分为 Key-Value(K1和V1) 对, 输入到第二步自定义 Map 逻辑, 将第一步的结果转换成另外的 Key-Value(K2和V2) 对, 输出结果Shule 阶段 4 个步骤对输出的 Key-Value 对进原创 2021-08-14 10:32:58 · 282 阅读 · 0 评论 -
mapreduce运行过程
前言:小编引入的图片和文字描述都是来自于传智播客的视频讲解,在此感谢传智播客的老师处理过程hdfs client 提交需要处理的计算任务ResourceManage包括ApplicationsManager和ResourceScheduler,ApplicationsManager启动MapReduceAppMasterMapReduceAppMaster向ApplicationsManager申请需要计算支撑的资源列表ReduceScheduler向MapReduceAppMaster回复资原创 2021-08-14 09:53:48 · 61 阅读 · 0 评论 -
hadoop体系结构
HDFS:分布式文件系统(解决海量数据的存储)MAPREDUCE:分布式运算编程框架(解决海量数据的计算)YARN:作业调度和集群资源管理的框架(解决资源任务调度)原创 2021-08-10 09:54:03 · 162 阅读 · 0 评论 -
hdfs文件的写入过程和hdfs的读取过程
前言:小编引入的图片和文字描述都是来自于传智播客的视频讲解,在此感谢传智播客的老师写入过程hdfs client 要上传a.txt(文件带下是300M,默认切片大小是128M),client 向namenode提出上传文件的请求namenode接受请求并检测文件上传权限(文件的大小限制、个数限制、有没有写入权限等),并响应是否可以上传,此处假设可以上传namenode向client响应可以上传hdfs client 根据规则把文件切分为三个block,并请求上传 blk1namenode原创 2021-08-12 09:33:10 · 387 阅读 · 0 评论