大数据之路
介绍大数据各种相关的技术栈
wx740851326
300字以内
展开
-
LeetCode 最长有效括号
题目:给你一个只包含 ‘(’ 和 ‘)’ 的字符串,找出最长有效(格式正确且连续)括号子串的长度。题目分析:最长有效括号子串包含两种情况:例1:(())有效子串长为4例2:()()有效子串长为4所以在处理的时候分情况讨论首先编写校验字符串是否有效的函数:def validate_str(str): if len(str) == 2: if str[0] == '(' and str[1] == ')': return True原创 2022-02-13 18:13:51 · 367 阅读 · 0 评论 -
hive知识点汇总
hive知识点汇总原创 2022-02-11 22:38:28 · 583 阅读 · 0 评论 -
hadoop知识点汇总
hadoop知识点汇总原创 2022-02-11 22:23:52 · 651 阅读 · 0 评论 -
ConnectionRefused报错总结
主机连接拒绝通常有以下几种情况:1. 主机名称的问题,机器因为某种原因,hostname发生了变更。2. 免密通信失效 由master ssh到其他主机监测是否能够连接3. 确认目标ip是否有效,该机器配置了真实的地址4. 检验你要访问的地址端口是否开启并可访问 使用telnet命令检测5. 试试换其他的机器访问你要访问的地址。6. 检查机器的...原创 2018-06-14 16:30:14 · 31275 阅读 · 0 评论 -
json对象put数据空指针异常
在我们处理创建了一个json对象之后,要给其赋值。通常我们使用JSONObject.put(key,value);即可实现。但有时在put的时候也会出现空指针的错误,这个是因为json对象没有实例化。如果我们定义一个json对象使用的是如下语句 JSONObject tmpJSONObject=null;在put数据的时候就会出现空指针的异常。我们需要在使用之前实例化一...原创 2018-10-24 09:14:13 · 3259 阅读 · 1 评论 -
scp时使用expect免密码交互
方法1:前提需要机器安装expect命令#! /usr/bin/expect -f spawn scp -P 端口 root@x.x.x.x:/x.txt/x.txtexpect {"(yes/no)?"{send "yes\n"expect "*password:" {send "12345\n"}}"*password:"原创 2017-05-16 16:10:36 · 441 阅读 · 0 评论 -
关于使用su切换用户之后,命令无法…
在很多的linux脚本中,我们需要su切换用户,来执行相应权限的命令。如果脚本中直接su的话,大多数情况,命令在su之后不会继续执行。因此,我们需要换一种方式来实现su命令,在这里,我推荐使用expect结合spawn命令来实现。实例如下:export cmd1="/usr/bin/impala-shell -i 192.168.1.129:21000 \r"echo $cmd1#...原创 2017-05-16 16:11:59 · 6447 阅读 · 0 评论 -
关于使用su切换用户之后,命令无法…
在第一部分中,我们讲了使用expect和spawn结合的方法,来实现切用户执行命令的例子。第一部分的地址是:https://blog.csdn.net/wx740851326/article/details/72302935这一部分,我们来看下如何切换命令后调用脚本看以下例子: export cmd1="sh test.sh\r"echo $cmd1 expect ...原创 2017-05-16 16:12:03 · 3468 阅读 · 0 评论 -
使用FIFO的文件控制shell的线程数
有的时候我们跑一个批量的脚本并发不能太大,需要对线程控制。这个就是本脚本使用的场景。#!/bin/bashdate +'%Y/%m/%d %H:%M:%S'HADOOP_CONF_DIR=/opt/cloudera/parcels/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/lib/spark2/conf/yarn-confexport H...原创 2018-09-14 13:27:20 · 1039 阅读 · 0 评论 -
Spark Stream 实时读kafka写redis,rdd转换其他类型
做一个实时系统,用到了kafka,redis,sparkStream,很经典的一个架构。kafka的生产者就不写了,这边只涉及sparksteam写消费者代码,存到redis。KafkaToRedis kafkaToRedis=new KafkaToRedis(); SparkConf conf = new SparkConf().setAppName("kafka_to_redi...原创 2018-09-19 20:54:26 · 772 阅读 · 0 评论 -
spark2- submit提交任务报错
在安装完成cdh5.13.3之后,写了个sparkstream的代码,然后准备用spark2-submit提交任务,结果遇到了一系列的错误:1.spark2-submit提交任务的时候直接报错Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream ...原创 2018-10-01 20:49:58 · 4062 阅读 · 0 评论 -
CDH节点卸载文档
如果需要卸载cdh,那么主要需要做的是停止cdh的相关服务,清理cdh相关的组件的路径,卸载cdh相关的程序安装包1.需要卸载cdh的节点移出集群环境(单节点卸载和集群卸载操作是一样的) 参照左图,第一步是停止主机上的角色第二步是解除主机的授权第三步是将主机从集群中删除这三个步骤中如果存在某个步骤执行缓慢可以终止操作,选择相应的服务来单独执行步骤1和2 ...原创 2018-10-15 10:30:57 · 1910 阅读 · 0 评论 -
实时计算的需求和解决方案(Kafak+sparkstream+redis)
我们通常使用Kafak+sparkstream+redis来作为我们实时数据处理的方案,需要处理各种关于实时计算的需求。需求一:触发告警流式数据的某个字段是一个固定的值,比如 state是off,而一旦这个值发生了改变,我们需要触发告警,比如state变成了on。触发告警提示这个状态值出错。等这个值再次变为off的时候,需要再次触发告警,提示这个值已经恢复正常。在这个值异常期间,告警只...原创 2018-10-24 10:09:02 · 1641 阅读 · 1 评论 -
从零开始搭建hadoop集群
创作不易,请勿抄袭,转载请注明出处。如有疑问,请加微信 wx15151889890,谢谢。[本文链接:]https://blog.csdn.net/wx740851326/article/details/https://blog.csdn.net/wx740851326/article/details/83744662本文主要记叙了如何在centos7.2上搭建cdh平台,使用mysql为元数...原创 2018-11-05 14:30:53 · 659 阅读 · 0 评论 -
综述
从业于大数据,需要我们不断的学习。大数据这个行业所要学习的技术栈种类繁多。就我个人职业生涯中,接触到的技术栈有以下这些:分布式系统:HDFS,Alluxio计算引擎:Mapreduce,Spark计算引擎:Mapreduce,Spark数据采集发布:Kafka,Redis,Flume数据交换(ETL):Sqoop,Kylin数据交换(ETL):Sqoop,Kylin数据分析处理:H...原创 2018-11-05 11:05:54 · 288 阅读 · 0 评论