水袖怀颜

3月24日下午和领导聊到我应该负责的事情的时候，领导在办公室说道：小A，你现在主要关心的有三件事情：成本 交付 质量做好项目的成本把控，为公司保证40%-50%的利润。在做好成本把控的同时，需要保证项目可以顺利交付。交付不但要保证能交付，更要高质量的交付。我仔细想了想，这确认是一个软件研发负责人应该达到的要求！从2019年10来到公司，现在已经过去了一年多的日子。从一个后端高级开发到后端开发负责人，再到现在的研发负责人。一路走来，在公司提供的平台上也得到了很大的成长。成长速度较快，很.

Storm是一个实时分布式计算框架，是真正的实时处理框架。针对数据来一条记录就处理一次；流式数据处理技术框架 ，可以达到毫秒级别。SparkStreaming是一个微批数据处理框架 ，只能达到秒级一、Storm集群机构Nimbus：主节点接受客户端任务Topology的提交，负责在集群中发送代码(jar包) 发送任务到zookeeper，等待Supervisor领取 监听集群状态 容错机制：当Supervisor挂掉，重新分配任务给其他Supervisor执行Supervisor：

一：本地模式配置1.安装jdk，解压jdk到/opt/modules下2.配置环境变量,修改/etc/profileexport JAVA_HOME=/opt/modules/jdk1.7.0_67export PATH=$PATH:$JAVA_HOME/bin3.解压hadoop到/opt/modules下4.配置$HADOOP_HOME/etc/hadoop/had

Sqoop 工具是Hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于每天产生的数据量不是很大的情形可以全表导入，但是sqoop也提供了增量数据导入的机制。下面介绍几个常用的sqoop的命令，以及一

mysql --user=user_name --password=your_password db_name例:mysql --user=root --password=hadoop mysql

格式化文件系统$ bin/hdfs namenode -format启动namenode 和datanode 服务$ sbin/hadoop-daemon.sh start namenode 启动namenode$ sbin/hadoop-daemon.sh start datanode 启动datanode查看服务进程[beifeng@hadoop-senior hado

进入$HIVE_HOME/conf/修改文件cp  hive-env.sh.template hive-env.shcp  hive-default.xml.template  hive-site.xml修改$HIVE_HOME/conf/的hive-env.sh，增加以下三行export JAVA_HOME=/opt/modules/jdk1.7.0_45

例：$HIVE_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse/db_hive.db

1.在/opt/modules下创建一个cdh空目录$ mkdir cdh       //cdh版本的hadoop， hive，sqoop安装在此目录下2.解压cdh版本的hadoop，hive，sqoop$ tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh$ tar -zxf hive-0.13.1-cdh5.3

1.${SQOOP_HOME}/conf/      $ cp sqoop-env-template.sh sqoop-env.sh     //拷贝模板生成配置环境目录=============修改sqoop-env.sh 配置文件#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/op

1）导入 MySQL -> HDFS (1) 全表导入bin/sqoop import \--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \--username root \--password root123 \--table  user \--target-dir /input/import \--

1).从HDFS、Hive表导出到Mysql     由于hive表的数据库和表其实就是HDFS上的目录和文件，所以从Hive表导出数据就是从HDFS对应的目录导出数据先在mysql中创建表接收导出数据create table  hive2mysql(deptno int,deptname varchar(20),address varchar(20));

使用内置的函数无法完成分析任务，那么需要写自定义函数show  functions;     //查看自带的所有的内置函数desc function upper;  //查看具体的某个函数的用法desc function extended upper; //带有具体案例##分三类     ## UDF  一进一出  处理原文件内容某些字段包含 []  ""   

1.重启网络service network restart2.永久修改hostnamevi /etc/sysconfig/network3.修改映射vi /etc/hosts

1.将hadoop-eclipse-plugin-2.6.0.jar 拷贝到${MyEclispe_HOME} /plugins2.Windows安装hadoop     1)解压hadoop-2.5.0.tar.gz到D:/根目录     右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序      打开==》浏览到到hadoop-2.5.0.tar.gz =

今天连接远程linux时出现Call From slaver1/127.0.0.1 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; 引起这个问题的原因是防火墙没关1.关闭防火墙 service iptables stop   2.禁止开

1.客户端(client)向集群管理者(ResourceManager)发出命令请求2.集群管理者(ResourceManager)接收到请求后，集群的应用管理者(ApplicationsMagager)会告诉节点管理者(NodeManager)去创建节点应用管理者(MR ApplicationMaster)3.节点应用管理者(MR ApplicationMaster)创建完成之后会告