笔记
文章平均质量分 78
luckboy0000
一个程序员(ง •̀_•́)ง
展开
-
Scala
Scala特性1、跨平台性:因为Scala语言编译之后也是会生成.class文件所有可以用JVM进行执行,所以有跨平台性2、类型推断:不用定义变量类型,直接写值,可以推断出是什么类型3、并发性和分布式4、抽象类和接口的融合5、模式匹配,,在switch中可以判断类型6、高阶函数:返回值类型和表达式都是函数...原创 2021-05-12 11:56:01 · 164 阅读 · 0 评论 -
Sqoop
Sqoop是干什么的Sqoop是一个能将传统关系型数据库中的数据导入到hive,hdfs,hbase中的工具,也可以将hive,hdfs,hbase中的数据导入到传统关系型数据库中。Sqoop的原理Sqoop是将任务转化成MR任务执行主要是对MR任务中的inputformat,outputformat进行定制Sqoop的安装1.将安装包导入到linux系统中2.将安装包解压3.将配置文件改名cp sqoop-env-template.cmd sqoop-env.cmd4.配置sqoop原创 2021-05-10 09:29:44 · 92 阅读 · 0 评论 -
Hive----HBase
连接配置1.给hive建立hbase的jar包的软链接ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar $HIVE_HOME/lib/hbase-common-1.3.1.jarln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jarln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/h原创 2021-04-29 15:12:17 · 69 阅读 · 0 评论 -
MR--HBase
1.配置环境变量sudo vim /etc/profile在其中添加:export HADOOP_CLASSPATH=`$HBASE_HOME/bin/hbase mapredcp`2.刷新环境变量文件source /etc/profile3.尝试运行官方案例官方案例在lib文件夹中yarn jar hbase-server-1.3.1.jar rowcounter fiudd统计有多少行数据4.尝试运行官方案例2首先将数据上传到hdfs上在hbase上建立一个表creat原创 2021-04-28 16:08:36 · 130 阅读 · 0 评论 -
hbase---API
客户端连接//用HBaseConfiguration.create()创建一个config对象 Configuration conf = HBaseConfiguration.create(); //说明要连接的ip地址 conf.set("hbase.zookeeper.quorum","192.168.245.139"); conf.set("hbase.zookeeper.property.clientport","2181");原创 2021-04-27 14:07:32 · 142 阅读 · 0 评论 -
hbase
Hbase是什么HBase的原型是Google的 BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。官网:http://hbase.apache.orgHBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。Hbase的目标是存储并处理大型的数据HBase是 Google Bigtable的开源实现,但是也有很多不同之处。比如: Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作原创 2021-04-22 11:39:59 · 103 阅读 · 0 评论 -
zookeeper安装|工作机制|特点|数据结构|服务|选举机制|监听机制|写数据流程
zookeeper是什么这是hadoop的生态系统zookeeper在其中充当的的是动物管理员的功能他能监视其他组件有没有正常的运行总结:Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache 项目。zookeeper的工作机制Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做原创 2021-04-19 15:32:19 · 185 阅读 · 0 评论 -
Hive-数据仓库
数据仓库概念数据仓库是一个面向主题的,集成的,相对稳定的。反应历史变化的数据集合,用于支持决策主题:把不同数据库和用户相关的数据抽取在一起集成:进行合并相对稳定:不是实时的(因为数据量太大,影响网站运行效率),一般按天对数据进行抽取,合并反应历史变化:用来统计,进行管理决策传统数据库面临的挑战(不足)1.无法满足快速增长的海量数据的存储需求2.无法有效处理不同类型的数据3.计算和处理能力不足hive官网:http://hive.apache.org/简介Hive是基于Hadoo原创 2021-03-29 15:04:48 · 728 阅读 · 0 评论 -
javascript
Java安装 的注意事项:安装路径不能有空格和中文环境变量:此电脑->右键属性->高级属性->高级->环境变量JAVA_HOME:Java安装的路径Path:bin安装路径IDEA(P J)1.傻瓜式安装(安装时只选择X86)HTML:(大小写不敏感)<(html lang=“en”>变化可识别语言类型<(head> 首部《metu charset=“UTF-8”》设置字符集《title》标题《/title》《/head》《bod原创 2020-12-28 16:35:45 · 92 阅读 · 0 评论 -
MapReduce详解
MapReduce定义MapReduce是一个分布式运算程序的编程框架,是用户开发“基于Hadoop的数据分析应用”在windows下实现wordcountpublic class WordCountMapper extends Mapper<LongWritable,Text,Text,IntWritable> { @Override protected void map(LongWritable key, Text value, Context cont原创 2020-12-19 16:11:47 · 295 阅读 · 0 评论 -
在Windows环境下安装hadoop | windows下操作HDFS
安装hadoop1.首先解压hadoop安装包2.直接配置hadoop环境变量HADOOP_HOME=hadoop安装路径(不要有中文目录)在PATH里添加hadoop下bin的路径3.测试:在cmd窗口 hadoop version 显示版本号则安装成功maven1.启动idea2.建立maven工程3.在自动生成的pom.xml文件下导包导包1.在setting下输入maven,找到它有settings.xml文件2.编辑这个文件修改这两部分<localReposi原创 2020-12-16 15:31:21 · 344 阅读 · 0 评论 -
HDFS面试题
HDFS的写数据流程1.客户端向NameNode请求上传文件2.NameNode判断是否有这个目录,这个目录下是否有这个文件如果有这个文件则无法上传3.要传300MB的文件首先 请求上传第一个Block(0-128)4.返回三个节点的,表示用这三个节点保存数据5.客户端通过FSDataOutputStream模块请求dn1上传数据,dn1收到请求会继续调用dn2,然后dn2调用dn3,将这个通信管道建立完成。6.dn1、 dn2、 dn3逐级应答客户端。7.客户端开始往 dn1 上传第一个 B原创 2020-12-14 16:56:13 · 177 阅读 · 0 评论 -
HDFS详解|namenode的启动原理|SeconderyNameNode的工作原理|HDFS缺点|数据存放策略|块的大小是怎么定的|集群安全模式|退役节点
Hadoop版本1.hadoop有两个完全不同的版本hadoop 1.0 架构里有:MapReduceHDFScommonhadoop 2.0架构里有:MapReduceyarnHDFScommon2.hadoop2.0中MapReduce是运行在yarn上的HDFS思想:将一台机器上存不下的数据存到多台机器上HDFS体系HDFS采用了主从(Master/Slave)结构模型,一个HDFs集群包括一个名称节点(NarmeNode)和若干个数据节点(DataNode)。名称节点原创 2020-12-13 16:57:37 · 1143 阅读 · 0 评论 -
大数据---hadoop
大数据特点1.Volume (大量)2.Velocity (高速)3.Variety(种类)4.Value(低价值密度)Hadoop由Apache基金会开发的分布式系统基础架构分布式:拆分任务 分而治之hadoop组成(面试重点)Hadoop1.x和Hadoop2.x的区别Hadoop1:MapReduce(计算+资源调度)压力大HDFS(数据存储)Common(辅助工具)Hadoop2:MapReduce(计算)Yarn(资源调度)HDFS(数据存储)Common(辅助原创 2020-12-29 16:45:39 · 372 阅读 · 0 评论