- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 分布式-Hbase快速入门
1. 什么是HBASE1.1 概念特性HBASE是一个数据库----可以提供数据的实时随机读写HBASE与mysql、oralce、db2、sqlserver等关系型数据库不同，它是一个NoSQL数据库（非关系型数据库）Hbase的表模型与关系型数据库的表模型不同： Hbase的表没有固定的字段定义； Hbase的表中每行存储的都是一些key-value对 Hba...
2019-08-30 11:26:47
211
原创 分布式-zookeeper快速上手
1 zookeeper的基本功能和应用场景2 zookeeper的整体运行机制3 zookeeper的数据存储机制3.1 数据存储形式zookeeper中对用户的数据采用kv形式存储只是zk有点特别：key：是以路径的形式表示的，那就以为着，各key之间有父子关系，比如/ 是顶层key用户建的key只能在/ 下作为子节点，比如建一个key： /a...
2019-08-30 10:21:12
210
原创 分布式-一文搞定hive
目录1 什么是hive1.1 hive基本思想1.2 为什么要使用Hive1.3 Hive得特点2 hive的基本架构3 Hive安装3.2. 标准安装：将mysql作为元数据库3.2.1. mysql安装3.2.2 hive的元数据库配置4 hive使用方式4.1 最基本使用方式4.2 启动hive服务使用4.3 脚本化运行5....
2019-08-29 17:03:39
425
原创 分布式-单点故障解决方案->zookeeper安装与21问
部分摘至https://www.cnblogs.com/qingyunzong/p/8634335.html 目录 zookeeper集群结构 ZooKeeper21问 ZooKeeper搭建Hadoop的HA集群 为什么会有 hadoop HA 机制呢？ 那如何解决呢？ 集群规划 集群服务器准备 集群安装 1、安装 Zookeeper 集群 ...
2019-08-28 10:14:37
343
原创 使用spark ,spark sql编写word count程序
Spark 版本val conf=new SparkConf.setAppName("wc").setMaster("local[*]")val sc=SparkConText(conf, 2)val lines sc.textFile("hdfs://wc")val paris=lines.flatMap(_.spilt(" "))val word =paris.map(_,1)...
2019-08-28 09:04:15
760
原创 分布式- wordcount程序整体运行流程
map阶段： 将每一行文本数据变成<单词,1>这样的kv数据reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v注意点：mapreduce程序中，map阶段的进、出数据，reduce阶段的进、出数据，类型都应该是实现了HADOOP序列化框架的类型，如：String对应TextInteger对应IntWritableLong对应LongWr...
2019-08-27 16:50:26
319
原创 分布式-HADOOP三大组件技术概要
hadoop中有3个核心组件：分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源1，概述：hdfs：分布式文件系统1.1 hdfs有着文件系统共同的特征：有目录结构，顶层目录是： ...
2019-08-27 16:48:35
1405
原创 LINUX-免密登陆配置（解决集群模式下各节点之间如何方便地拷贝文件）
集群模式下，各节点之间如何方便的拷贝文件？命令格式：scp file 远程用户名@远程服务器IP:~/ （注意：冒号和目录之间不能有空格）如果拷贝目录，需要加-r 选项。使用root用户eg: scp /etc/profile root@node2:/etceg: scp -r /usr/jdk1.8 node2:/usr/javaeg:scp h...
2019-08-26 10:02:29
677
原创 LINUX-常用命令大全-持续更新~
前言LINUX命令格式大多遵循如下规则：命令 [-选项] [参数]如：ls -la /usr说明： 严格区分大小写大部分命令遵从该格式多个选项时，可以一起写eg:ls –l –a -> ls –la简化选项与完整选项(注：并非所有选项都可使用完整选项) eg:ls –all -> ls –a学习技巧善于查看man ...
2019-08-26 09:53:42
376
原创 LINUX-三种网络（HOST，NAT，桥接）
Host-OnlyHost-only 仅主机模式1，虚拟机网络设置配置虚拟机的网络设置为hostonly2，虚拟软件网络设置选择vmware - 编辑 – 虚拟机网络编辑器3,配置虚拟软件中vmnet1的IP为VMnet1选择一个网段，不修改0号ip地址。4,查看win7 VMnet1网络此时，win7机器上的vmware v...
2019-08-26 09:51:50
536
原创 LINUX-搭建本地yum源
挂载光盘 # mkdir /mnt/cdrom#mount /dev/cdrom /mnt/cdrom 卸载挂载用umount /mnt/cdrom2，让网络yum源文件失效cd /etc/yum.repos.d/ rename .repo .repo.bak * #重命名所有的.repo文件 cp CentOS-...
2019-08-26 09:38:15
225
原创 LINUX-VIM文本编辑器
vim/vi是Unix / Linux上最常用的文本编辑器而且功能非常强大。只有命令，没有菜单。一个有趣的段子周围的同事不是用VI就是Emacs，你要是用UltraEdit都不好意思跟人家打招呼...什么插件呀、语法高亮呀、拼写检查呀，能给它开的都给它开着，就是一个字：酷！你说这么牛X的一东西，怎么着学会也得小半年吧。半年！？入门都远着呢！能学会移动光标就不错了，你还别说耗不起，就这还...
2019-08-26 09:24:10
169
原创 LINUX系列-Linux简介
UNIX与Linux发展史Unix在1969年，美国贝尔实验室的肯汤普森在DEC PDP-7机器上开发出了UNIX系统。Linux出现于1991年，是由芬兰赫尔辛基大学学生李纳斯·托瓦兹（Linus Torvalds）和后来加入的众多爱好者共同开发完成 。Linux介绍Linux是一种自由和开放源码的操作系统，存在着许多不同的Linux发行版本，但它们都使用了Linux内核。...
2019-08-26 08:44:43
625
北京航空航天大学 北京维特科技有限公司创业计划.pdf
2020-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人