本地文件上传到 HDFS 的shell执行脚本

目录 1.功能:将本地日志上传到hdfs中。 2.实现:分两步进行,第一步将文件复制到待上传目录,第二步将文件设置标志(copy)循环逐条复制hdfs中,并更改标志(done) 3.代码及结果展示 1.功能: 将本地日志上传到hdfs中。 2.实现: 分两步进行, 第一步将文件复制到...

2019-03-19 10:16:48

阅读数 1033

评论数 1

kafka 中相关组件topic、broker、producer、consumer原理及负载均衡策略

目录 1.kafka 2.topic 3.broker 4.producer 5.consumergroup 6.负载均衡策略 1.kafka kafka是类jms消息队列,与jms不同的是,kafka可以有多个消费者consumer主动拉取数据。 2.topic topic是逻...

2018-12-31 21:16:26

阅读数 393

评论数 0

hadoop 之 hbase 原理 (hmaster, hregionserver, zookeeper, 读写流程及组件职责)

目录 1、体系图 2、写流程 3、flush过程 4、合并过程 5、读过程 6、hmaster职责 7、hregionserver职责 8、client职责   1、体系图 2、写流程 client向hregionserver发送写请求。 hregionserver将数...

2018-12-23 19:29:01

阅读数 147

评论数 0

Redis 中哨兵sentinel 机制、从宕机及恢复、主库宕机及恢复解决方案

目录 什么是哨兵 原理 环境 设置哨兵 从宕机及恢复 主宕机及恢复 配置多个哨兵 1、什么是哨兵 哨兵是对Redis的系统的运行情况的监控,它是一个独立进程,功能有二个: 监控主数据库和从数据库是否运行正常; 主数据出现故障后自动将从数据库转化为主数据库; 2、原理 单个哨兵...

2018-09-09 08:49:10

阅读数 1774

评论数 0

运行spark程序报 must be at least 4.718592E8. Please use a larger heap size.错误及解决方法

目录: 1/ 出现问题: 运行spark程序时,控制台出现 System memory 202768384 must be at least 4.718592E8. Please use a larger heap size. 2/解决方法: conf.set("spark.t...

2019-04-23 23:09:36

阅读数 2

评论数 0

大数据常见命令汇总ING....

1/hdfs 启动 start-dfs.sh 2/yarn 启动 start-yarn.sh 3/hive 启动 hive 4/hive 创建表 create table users(id int, name string) row format delimited fields term...

2019-04-14 23:11:00

阅读数 41

评论数 0

Linux 系统中环境变量/etc/profile、/etc/bashrc、~/.bashrc的区别【整理版】

目录 1. 解答整理 2. 参考文章 1. 解答整理 1> etc目录下存放系统管理和配置文件 (系统配置) etc/profile: profile为所有的用户设置系统范围的环境变量和启动顺序,当用户登录时读取该文件,这个文件对每个shell都有效。 /etc/bashr...

2019-04-14 17:34:07

阅读数 17

评论数 0

【LeetCode 02】两数相加-----单链表

目录 1.问题:两数相加 2.方案:单链表 1.问题:两数相加 给出两个 非空 的链表用来表示两个非负的整数。其中,它们各自的位数是按照 逆序 的方式存储的,并且它们的每个节点只能存储 一位 数字。 如果,我们将这两个数相加起来,则会返回一个新的链表来表示它们的和。 您可以假设除了数字 0 ...

2019-04-10 11:16:52

阅读数 35

评论数 0

数据仓库 DataWarehouse 学习

目录 1、定义 2、特点 3、元数据 4、建模方法 5、星型模型与雪花模型 6、数据库与数据仓库区别 1、定义 出于分析性报告和决策支持目的而创建,提供所有类型数据支持的战略集合。 2、特点 数据面向主题 数据是集成的 数据是不可更新的 数据是随时间变化的 3、元数据 存储...

2019-04-05 10:26:14

阅读数 52

评论数 0

【LeetCode 01】两数之和---- HashMap

目录 1、Question——TwoSum 1、Question——TwoSum Given an array of integers, returnindicesof the two numbers such that they add up to a specific target. ...

2019-03-31 23:08:32

阅读数 14

评论数 0

hive 联级求和

目录 1/原生数据 t_access_times.dat: 2/创建表 3/导入数据 4/按照username、month分组 5/自己 inner join 自己 6/按照用户、月份,联级求和salary 1/原生数据 t_access_times.dat: A,2015-01,5 ...

2019-03-31 19:43:09

阅读数 9

评论数 0

mysql 查询 count(*)、count(1)、count(field)的区别.及 order by 同 hive 中 sort by、 cluster by 的区别

目录 1、mysql 查询 count(*)、count(1)、count(field)的区别 2、mysql中 order by 同 hive 中 sort by、 cluster by 的区别 1、mysql 查询 count(*)、count(1)、count(field)的区别 co...

2019-03-29 10:53:49

阅读数 35

评论数 0

CAP定理

1. 概述 Consistency Availability Partition tolerance 2. 关系 它们的第一个字母分别是 C、A、P。Eric Brewer 说,这三个指标不可能同时做到,这个结论就叫做 CAP 定理。一般来说,分区容错无法避免,因此可以认为 CAP 的 P...

2019-03-26 23:25:40

阅读数 13

评论数 0

离线计算两两之间的共同好友

目录 1.需求:离线计算两两之间的共同好友 2.思路:分两步 1.需求:离线计算两两之间的共同好友 2.思路:分两步 第一步:计算<友,[人,人,..]> static class sharedFriendsStepOneMapper extends Mapp...

2019-03-26 09:05:54

阅读数 27

评论数 0

HDFS 相关细节研究

1.hdfs-可拓展性---- hsdf配置文件中slaves文件是为了在namenode端使用ssh命令方便启动目前系统所有的datanode节点。当需要扩容时,只需要配置好一个新的datanode后,使用hadoop-daemon.sh start datanode 命令启动即可,不一定将新数...

2019-03-17 23:03:33

阅读数 25

评论数 0

HADOOP 集群搭建

目录 1. 集群简介 2. 软件准备 3. 网络配置 4. 系统设置 5.JDK安装 6. HADOOP安装 7. 启动集群 8. 测试试验 1. 集群简介 HADOOP集群五个节点角色分配如下: mini1 NameNode SecondNameNode m...

2019-03-16 14:24:59

阅读数 55

评论数 0

分布式协调服务zookeeper基础

目录 1.简介 2.数据结构 3.原理及协议 4.功能 5.应用 1.简介 Zookeeper是一个分布式协调服务;它是为用户的分布式应用程序提供协调服务。它本身就一个集群(集群数量为奇数,至少为三台),集群的角色:Leader 和 follower (Observer)。只要集群中有...

2019-03-14 06:58:30

阅读数 34

评论数 0

Linux 基础知识梳理

目录 1、日常操作命令 2、文件系统操作 3、文件权限的操作 4、基本的用户管理 5、系统管理操作 6、软件安装操作 1、日常操作命令 **查看当前所在的工作目录 pwd **查看当前系统的时间 date **查看有谁在线(哪些人登陆到了服务器) who 查看当前在线 l...

2019-03-10 21:25:37

阅读数 90

评论数 0

spark 中 RPC 通信过程----部分源代码分析

目录 生命周期 子类实现 1.生命周期 RpcEnv 生命周期为: constructor -> onStart -> receive* -> onStop 源码分析如下: /** * A factory class...

2019-03-07 22:59:37

阅读数 21

评论数 0

报 error: not found: value sqlContext  import sqlContext.implicits._ 和  import sqlContext.sql 错误的解决方案

问题: <console>:16: error: not found: value sqlContext import sqlContext.implicits._ ^ <console&g...

2019-03-05 20:00:58

阅读数 96

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭