- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Scala必备学习
scala语言的介绍 scala是一门多范式的编程语言，即面对对象也是函数式编程（函数式编程：面对过程，编程函数）scala语言和Java语言的对比 相同点： Java和Scala可以无缝混编，都是基于jvm，都可以相互调用 不同点： Scala类型可以自动...
2019-07-05 20:05:33
331
原创 Hive的使(下）--JDBC连接/UDF自定义函数使用
使用IDEA与Hive连接public class JdbcTest { private static String dirverName="org.apache.hive.jdbc.HiveDriver"; public static void main(String[] args) throws ClassNotFoundException, SQLException ...
2019-06-21 21:25:16
974
原创 Hive使用(中)
导入将本地数据导入hiveload data local inpath '/root/tes.txt' into table 数据库.表;将hdfs集群导入到hiveload data inpath 'hdfs://node01:9000/user/tes.txt' into table 数据库.表;HIve分区表（静态分区，动态分区）静态分区： 必须在表定义时指定...
2019-06-20 21:01:39
462
1
原创 Hive简单介绍与使用(上）
Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive查询具体操作步骤1.解析：找出查询语句的关键字2.优化：将select经行优化，形成树3.编译：对select重新编译，形成相应的逻辑计划4.执行：将逻辑计划进行实现，转变成物理计划...
2019-06-19 21:17:12
598
原创 Zookeeper详细介绍
zookeeper定义：是一个分布式的，开放源码的分布式应用程序协调服务。在zookeeper中分为三种角色1、leader 领导者2、follower 跟随者3、observer 监视follower （是一个隐藏的）在zookeeper（恢复模式/leader挂掉了/集群刚启动）节点状态分为四种1、LOOKING：等待状态，一般出现在没有leader准备选举得得...
2019-06-18 21:16:49
282
原创 MapReduce的详细介绍---分片，分区，合并，归并>>shuffle过程
MapReduce的shuffle过程：这个过程就是输入一个杂乱，毫无规则的数据。在经过MapReduce通过自定义一些规则，分片，分区，在经过合并，归并的操作，最后让其按照这个规则输出来，写入磁盘。1.输入分片---分片输入分片（inputSpilt):在进入map之前，需要经过分片，在我们不设置分片的大小时候，有两种规则，一种就是block充满数据，就是分片的大小大约是一个bloc...
2019-06-14 21:41:46
2662
原创 通过eclipse插件与Hadoop搭建开发环境
1.启动Hadoop集群2.使用eclipse的Hadoop插件进行搭建3.将插件放置在eclipse的plugins中4.启动eclipse5.进入window中preferences中，点击hadoop Map/Reduce,选择hadoop工具包6.在点击java下的Build Path下的User Libraries添加lib文件添加jar包(jar包已上传）...
2019-06-13 20:39:53
249
原创 HDFS分布式集群搭建详情
1.配置多个节点的网络映射使用命令 vi /etc/hosts例如： 192.168.79.123 node01 192.168.79.124 node02 192.168.79.125 node03 192.168.79.126 node04注：每个节点都需要配置/etc/hosts例如：scp /etc/hosts root@192.168.7...
2019-06-12 21:38:08
209
原创 HDFS伪分布式集群搭建--详解
在根目录，配置免密登录 1）输入 ssh-keygen -t rsa 注：（一路回车，不需要输密码） 2）输入ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名1.上传文件 1）ftp上传 2）使用命令rz上传 ---需要下载yum(yum install lrzsz -y)...
2019-06-12 14:56:29
302
原创 HDFS持久化---NameNode，SecondaryNamenode持久化
为保证元数据的安全，需要将数据存放在磁盘中----持久化HDFS持久化主要是--SecondaryNamenode和NameNode将数据持久化，写入磁盘中引言： NameNode不能持久化的原因 ： 可以做：需求小，占用内存小，不影响计算效率 ...
2019-06-11 21:13:46
810
转载 大数据几大主流技术----HDFS操作原理
大数据：短时间快速产生大量多种多样有价值的信息。当前谷歌三大论文：GFS -------------------->HDDS分布式文件系统（分布式的存储） MapReduce------------>分布式的处理 BigData------------------>HBase (一种数据库）解决数据量过大的问题： 1.垂直扩展...
2019-06-10 20:51:15
2236
原创 Linux中shell脚本基础
输入--0标准输出--1错误输出--2 输出的标志 > ,>是覆盖，>>是在原内容上追加 输入的标志<,<<<是单行输入，<<是多行输入 通过同样的名字结束，但由于read的特性，所以只能读取一行。shell变量有五种本地 name=5局部 local--只能用于函数...
2019-06-10 15:28:57
116
原创 文件下载---ajax文件下载
文件下载---工具类public class Util { //定义日志对象 private Logger logger = Logger.getLogger(Util.class); @RequestMapping("downfile") public void downFile(HttpServletRequest request,HttpServletResponse resp...
2019-06-10 09:43:29
1829
2
原创 文件上传---使用ajax上传
使用ajax如何使用文件上传？**需要在springmvc.xml中添加配置<bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver"> <property name="maxUploadSize" value="100...
2019-06-09 21:44:05
247
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人