- 博客(17)
- 收藏
- 关注
RSS订阅原创 SpringBoot集合Freemarker的步骤和注意
1.导入依赖，SpringBoot依赖省略 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-freemarke...
2020-02-14 20:25:48
139
原创 Spring的AOP总结一
专业术语的理解 1:切面：应用代码中那些公共的代码，比如权限管理，异常抛出，我们把它们封装到一个类中，这个类叫做切面类。 2:切入点：应用代码和切面的交叉点，个人理解就是：应用代码中需要调用切面中的代码的那个地方。 3:连接点：个人理解就是：应用代码中调用切面中的代码的那个操作。（应用程序中可以作为切入点的地方） 4:增强：也叫通知，是应用到应用程序中的切面代码 ...
2020-01-17 12:59:57
226
原创 进入命令行的配置
<property> <name>hive.exec.local.scratchdir</name> <value>/home/gsd/Hive/hivescratchdir</value> </property> <property> <name>hive.downlo...
2019-05-04 19:49:49
180
原创 Hive的安装和配置.........
前提：安装hadoop 一：下载好包（放入你自定义的文件中，我的是/home/gsd/Hive） 二：解压开（在/home/gsd/Hive文件夹中进行） 2.1：tar -zxvfhive-2.1.0.tar.gz 2.2：mv hive-2.1.0.tar hive（重命名） 三：配置环境变量 3.1：su root（切换到ro...
2019-05-04 19:49:38
116
原创 hadoop的完全分布式的简单配置
前提:安装好hadoop（安装地址：https://mp.csdn.net/postedit/89816097） 说明：在hadoop-env.sh中export JAVA_HOME=你的java环境变量 一：在安装的hadoop_home/etc/hadoop中修改四个配置文件； 分别是：core-site.xml hdfs-site.xml mapred-site.xml...
2019-05-04 18:53:46
662
原创 Hadoop的安装
前提：安装好了jdk，ssh免密登录配置好。 说明：仅仅只是安装hadoop 一：下载hadoop的包（这里用hadoop-2.7.3.tar.gz） 二：上传到自己定义的文件夹下（自己定义的是/home/gsd/Hadoop） 三：利用tar命令将下载好的包解压 3.1：tar -zxvfhadoop-2.7.3.tar.gz（解压命令） 3.2：mv h...
2019-05-04 18:46:00
97
原创 Hive中的sort by,order by,distribute by(记录八)
1.sort by sort by 只有局部排序，保证每一个reduce 都是有序的，但是所有的reduce并不是有序的，（如果只有一个reduce那么就是有序的） 2.order by order by 全局有序的，同时也只有一个reduce（有时数据量太大不会出结果，可以使用limit来限制条数） 3.distribute by distribute by ...
2019-02-09 15:20:10
527
原创 hadoop的数据倾斜之自定义分区解决（记录七----4）
https://mp.csdn.net/postedit/86480018(hadoop的数据倾斜之自定义分区解决（记录七----4）) //主函数 public class SkewApp1 { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedE...
2019-01-14 23:37:44
168
原创 hadoop的数据倾斜之自定义分区解决（记录七----3）
https://mp.csdn.net/postedit/86479744(hadoop的数据倾斜之自定义分区解决（记录七----2）) 解决数据倾斜问题第一阶段： 设置随机分区：（代码和结果如下） /** * 数据倾斜 */ public class SkewApp { public static void main(String[] args) throws IOExcep...
2019-01-14 23:37:36
197
原创 hadoop的数据倾斜之自定义分区解决（记录七----2）
https://mp.csdn.net/postedit/86479388(hadoop的数据倾斜之自定义分区解决（记录七----1）) package com.gsd.skew; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io...
2019-01-14 23:37:27
130
原创 hadoop的数据倾斜之自定义分区解决（记录七----1）
数据倾斜含义：少数几个reduce节点运行的数据量比其他reduce数据节点多很多，拖慢整个MR的进程。 下面是解决办法（个人跟着老师学习时理解，如果雷同，纯属巧合） 第一步：让数据倾斜出现 原始的数据： 1.txt a b1 a b2 a b3 a b4 a b5 a b6 a b7 a b8 a b9 a b10 a b11 a b12 a b13 a b14 a b15 2...
2019-01-14 23:37:17
134
原创 Hadoop的二次排序的个人理解（记录六）
（以hadoop权威指南的年份和温度为例，key是年份，value是温度。） 个人理解 ：把key和value的值组合在一起，变成组合key，（称为ComposeKey）,再根据原先的key值，把组合key放到同一个分区，这是组合key的作用就显现了，value也会和原始key一起进入同一个分区，然后设置一个分组，使得同一年的温度在一个组里，即原始key相同的在一个分组里。（需要注意的是：同一个...
2019-01-14 13:53:57
199
原创 Hadoop的同步点的理解（记录五）
在读取SequenceFile是，seek()方法如果不是一条记录的起始地址的时候，使用sync（）方法可以回到文件中记录的起始地址，并且读取下一条信息。。
2019-01-04 19:57:22
170
原创 Java API上传文件到hdfs出现错误（记录四）
记录学习中遇到的困难之四： 问题描述：java.lang.NoSuchMethodError:org.apache.hadoop.fs.FSOutputSummer.(Ljava/util/zip/Checksum;II)V. 解决办法：在pom文件中引入下列jar包 <dependency> <groupId>org.apache.hadoop</gr...
2018-12-30 17:36:23
840
原创 HBase启动时有进程，webUI不显示HRegionServer(记录三)
记录学习中遇到的困难之三： 问题描述：启动Hbase以后，Hmaster和HRegionServer进程都存在，但是webUI上没有HRegionServer没有信息，并且会提示一串英文（大概意思是负载均衡没有启用） 解决办法:hadoop进入安全模式了，hadoop dfsadmin -safemode leave用这个命令离开安全模式就可以了。...
2018-12-28 20:38:14
2190
7
原创 HBase插入数据后在hdfs中没有显示（记录二）。
记录学习中遇到的困难之二： 问题：当使用客户端代码插入数据到hbase中为什么hdfs中的/hbase/data/gsd1/t1/2562785418291c725d87651a260421af/f1下面没有文件？ 解决：在shell中使用flush ‘gsd1:t1’(注：gsd1为空间名，t1为表名)...
2018-12-24 20:30:18
1000
原创 JAVA API 连接HBase 的程序不报错，一直运行(记录一)。
记录学习中的困难之一： 环境：WIN10+CentOS 工具：IDEA+虚拟机 问题：JAVA API 连接HBase 的程序不报错，一直运行，IDEA也连接不上集群 解决办法：将CentOS中的 /etc/hosts中的内容复制到C:\Windows\System32\drivers\etc\hosts文件中即可解决。。。...
2018-12-23 22:23:57
1298
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人