- 博客(16)
- 收藏
- 关注
RSS订阅原创 分区
分区 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录。一、创建分区表二、加载数据到分区表中根据另一张表直接从数据中提取三、分区查询单分区查询：select * from consume_part where gender=‘male’;多分区联合查询：四、增、删、查增加分区：删除分区：查看分区：show partitions dept_partition;desc formatted dept_p
2020-08-29 22:57:26
140
原创 Hive的四种排序
排序一、Order by 全局排序，一个Reduce来处理 正常排序：ASC 升序（默认） DESC 降序二、Sort By 每个Reducer内部进行排序设置reduce个数：set mapreduce.job.reduce=3;查看设置reduce个数：set mapreduce.job.reduce;例：根据部门编号降序查看员工信息select * from emp sort by empno desc三、分区排序 distribute by 例：先按照部门编号分区，
2020-08-29 16:41:59
372
原创 虚拟机中ZooKeeper的安装
Zookeeper的安装：需要提前准备好jdk环境解压文件到hadoop目录下：创建zookeeper目录并建立软连接 ：在zookeeper目录下创建zkdata目录修改zookeeper的配置文件：cd /opt/bigdata/hadoop/zookeeper/confmv zoo._sample.cfg zoo.cfg->vi zoo.cfg修改：增加： 在zkdata目录下创建myid文件并将当前host下对应的服务器编号存入其中配置环境变量： vi /etc/pr
2020-08-20 19:21:02
586
原创 Linux免密之后无法登陆
当你所有的免密工作都完成后还是无法登陆那么，你试试下面配置vi /etc/ssh/sshd_config将 StrictModes改为no 写入配置重新启动sshd：systemctl restart sshd但这样会降低你的安全性
2020-08-18 14:19:51
176
原创 Elasticsearch集群的一键启动
在用户目录下创建esstart.sh和essremote.sh开启集群所有的虚拟机在主机用户的根目录下启动：./esstart.sh
2020-08-12 18:59:50
201
原创 Elasticsearch的日志收集
在root的目录下导入lsdemo.jar 包java -jar lsdemo.jar 0 10000创建一个收集日志的文件mylog.log创建一个logstash.log文件夹来启动配置最后来根据日志文件来启动需要的是在日志包下的bin目录：nohup ./logstash -f ~/logstash.log...
2020-08-12 16:11:44
310
原创 Elasticsearch的配置：你不知道的细节！！！
Elasticsearch配置 首先我们需要有elasticsearch-6.2.2.tar.gz安装包，将它解压到一个es622的目录下vi /opt/bigdata/elk/es622/config/elasticsearch.ymlcluster.name:(集群名字)node.name:主节点/从节点 node.master:true/falsenetwork.host:hostname(主)/hostname(从)discovery.zen.ping.unicast.host
2020-08-07 15:06:07
122
原创 Linux中的网络配置（无法访问外网）
当我们开启了双网卡，可能就使得你的虚拟机无法访问外网。那么，就需要我们来对IP来进行下配置了vi /etc/sysconfig/network-scripts/ifcfg-ens33然后，systemctl restart network就可以了（记得要看自己的网段是多少哦！！！）...
2020-08-06 10:41:05
1075
原创 ArrayList的底层实现
一、ArrayList就是数组列表，它的主要底层实现是数组object[]elementData，当装载基本类型的数据时：装载时它对应的包装类；二、ArrayList可以通过构造方法在初始化的时候指定数组的大小，无参就是默认大小，有参会判断参数。我们可以看下它的无参和有参构造器：我们一般我将DEFAULT_CAPACITY设定为10；三、数组的长度是有限制的，我们一般通过数组扩容的方式去实现：我们需要扩展的数组长度：我们真正扩容的长度：一般默认DEFAULT_EXPAND_RATE = 1.5
2020-06-08 22:19:11
511
原创 线程的创建方式
我们如何来如何开启线程 [一般都是直接或间接的借用Thread类来开启线程]一、匿名内部类去创建线程二、自定义类继承Thread三、自定义类实现Runnable接口四、实现Callable接口(相对于Runnable接口)它重写了call方法，可以得到返回值最后，当有一些我们经常使用，使用量特别大的时候，我们可以提前创建好多个线程，将他们放入线程池，使用时直接获取，使用后放回池中，可以重复利用，类似于我们生活中的交通工具。下面是几种线程池的创建和它一般在什么场景下使用：//缓存线程池
2020-06-08 21:47:33
122
原创 java中方法参数的值传递机制
形参：方法声明时的参数实参：方法调用时实际传给形参的实际值那java中的实参值是如何传入方法的呢？值传递，即实际参数值的副本传入方法内，而参数本身不受影响。–形参是基本数据类型：是将实参基本数据类型变量的“数据值”传递个形参–形参是引用数据类型：是将实参引用数据类型变量的“地址值”传递给形参一、基本数据类型的值传递二、引用数据类型的值传递...
2020-05-31 23:29:32
146
原创 面向对象的三大特征
OOP特征一：封装为什么封装？封装前：因为我们追求高内聚低耦合的设计，把该暴露的暴露该隐藏的隐藏，所以我们需要将数据声明为私有（private），在提供公共（public）的的方法setter/getter方法实现对该私有属性的操作封装后：OOP的特征二：继承为什么要有继承？多个类存在相同属性和行为时，将这些内容抽取到单独的一个类中，那么多个类无需在定义这些属性和方法，只要继承这个类就好；OOP的特征三：多态性多态就是父类引用指向子类对象：多态的前提是需要存在继承和实现关系以及方法的重写。
2020-05-31 20:54:44
202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人