- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 作为一名私企软件负责人应该做的三件事情
3月24日下午和领导聊到我应该负责的事情的时候，领导在办公室说道：小A，你现在主要关心的有三件事情：成本 交付 质量做好项目的成本把控，为公司保证40%-50%的利润。在做好成本把控的同时，需要保证项目可以顺利交付。交付不但要保证能交付，更要高质量的交付。我仔细想了想，这确认是一个软件研发负责人应该达到的要求！从2019年10来到公司，现在已经过去了一年多的日子。从一个后端高级开发到后端开发负责人，再到现在的研发负责人。一路走来，在公司提供的平台上也得到了很大的成长。成长速度较快，很.
2021-03-29 17:05:13
199
2
原创 Storm学习总结
Storm是一个实时分布式计算框架，是真正的实时处理框架。针对数据来一条记录就处理一次；流式数据处理技术框架 ，可以达到毫秒级别。SparkStreaming是一个微批数据处理框架 ，只能达到秒级一、Storm集群机构Nimbus：主节点接受客户端任务Topology的提交，负责在集群中发送代码(jar包) 发送任务到zookeeper，等待Supervisor领取 监听集群状态 容错机制：当Supervisor挂掉，重新分配任务给其他Supervisor执行Supervisor：
2020-12-11 14:55:45
331
原创 hadoop伪分布模式环境安装
一：本地模式配置1.安装jdk，解压jdk到/opt/modules下2.配置环境变量,修改/etc/profileexport JAVA_HOME=/opt/modules/jdk1.7.0_67export PATH=$PATH:$JAVA_HOME/bin3.解压hadoop到/opt/modules下4.配置$HADOOP_HOME/etc/hadoop/had
2017-03-14 00:01:16
187
转载 Sqoop使用和简介
Sqoop 工具是Hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于每天产生的数据量不是很大的情形可以全表导入，但是sqoop也提供了增量数据导入的机制。下面介绍几个常用的sqoop的命令，以及一
2017-03-13 07:42:53
241
原创 Linux下连接msyql
mysql --user=user_name --password=your_password db_name例:mysql --user=root --password=hadoop mysql
2017-03-13 07:38:09
171
原创 Hadoop启动namenode和datanode
格式化文件系统$ bin/hdfs namenode -format启动namenode 和datanode 服务$ sbin/hadoop-daemon.sh start namenode 启动namenode$ sbin/hadoop-daemon.sh start datanode 启动datanode查看服务进程[beifeng@hadoop-senior hado
2017-03-13 07:36:56
400
原创 Hive环境配置
进入$HIVE_HOME/conf/修改文件cp hive-env.sh.template hive-env.shcp hive-default.xml.template hive-site.xml修改$HIVE_HOME/conf/的hive-env.sh，增加以下三行export JAVA_HOME=/opt/modules/jdk1.7.0_45
2017-03-13 07:34:44
212
原创 修改HDFS上文件的权限
例：$HIVE_HOME/bin/hadoop fs -chmod 777 /user/hive/warehouse/db_hive.db
2017-03-13 07:33:59
2042
原创 hadoop伪分布式环境apache版本切换为CDH
1.在/opt/modules下创建一个cdh空目录$ mkdir cdh //cdh版本的hadoop， hive，sqoop安装在此目录下2.解压cdh版本的hadoop，hive，sqoop$ tar -zxf hadoop-2.5.0-cdh5.3.6.tar.gz -C /opt/modules/cdh$ tar -zxf hive-0.13.1-cdh5.3
2017-03-13 07:32:47
472
原创 搭建SQOOP环境
1.${SQOOP_HOME}/conf/ $ cp sqoop-env-template.sh sqoop-env.sh //拷贝模板生成配置环境目录=============修改sqoop-env.sh 配置文件#Set path to where bin/hadoop is availableexport HADOOP_COMMON_HOME=/op
2017-03-13 07:31:17
264
原创 Sqoop导入数据
1）导入 MySQL -> HDFS (1) 全表导入bin/sqoop import \--connect jdbc:mysql://bigdata.ibeifeng.com:3306/testdb \--username root \--password root123 \--table user \--target-dir /input/import \--
2017-03-13 07:29:56
326
原创 Sqoop导出数据
1).从HDFS、Hive表导出到Mysql 由于hive表的数据库和表其实就是HDFS上的目录和文件，所以从Hive表导出数据就是从HDFS对应的目录导出数据先在mysql中创建表接收导出数据create table hive2mysql(deptno int,deptname varchar(20),address varchar(20));
2017-03-13 07:28:09
282
原创 Hive 自定义函数函数
使用内置的函数无法完成分析任务，那么需要写自定义函数show functions; //查看自带的所有的内置函数desc function upper; //查看具体的某个函数的用法desc function extended upper; //带有具体案例##分三类 ## UDF 一进一出 处理原文件内容某些字段包含 [] ""
2017-03-13 07:27:19
1529
原创 linux基本配置
1.重启网络service network restart2.永久修改hostnamevi /etc/sysconfig/network3.修改映射vi /etc/hosts
2017-03-13 03:36:34
183
原创 Windows下Eclispe远程开发Mapreduce程序
1.将hadoop-eclipse-plugin-2.6.0.jar 拷贝到${MyEclispe_HOME} /plugins2.Windows安装hadoop 1)解压hadoop-2.5.0.tar.gz到D:/根目录 右键winrar--》属性--》兼容性-》勾选 以管理员运行此程序 打开==》浏览到到hadoop-2.5.0.tar.gz =
2017-03-13 02:38:03
271
原创 linux关闭防火墙
今天连接远程linux时出现Call From slaver1/127.0.0.1 to master:9000 failed on connection exception: java.net.ConnectException: Connection refused; 引起这个问题的原因是防火墙没关1.关闭防火墙 service iptables stop 2.禁止开
2017-03-13 01:41:18
170
原创 MapReduceOnYarn(iMapReduce在Yarn执行的流程分享)
1.客户端(client)向集群管理者(ResourceManager)发出命令请求2.集群管理者(ResourceManager)接收到请求后，集群的应用管理者(ApplicationsMagager)会告诉节点管理者(NodeManager)去创建节点应用管理者(MR ApplicationMaster)3.节点应用管理者(MR ApplicationMaster)创建完成之后会告
2017-03-13 00:14:26
1094
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人