- 博客(28)
- 收藏
- 关注
RSS订阅原创 Linux克隆后，修改主机名，ip地址（步骤，不是详解）
首先切换root用户 su root 1. vim /etc/sysconfig/network2. vim /etc/udev/rules.d/70-persistent-net.rules将eth0 删除，然后将eth1换成eth0 之后复制 然后将ATTR{address}=后面的复制3. vim /etc/sysconfig/network-scripts/ifcfg-eth0替换HW...
2018-06-15 15:32:36
3188
原创 Spark中RDD是什么？
一、RDD是什么？RDD是一个弹性可复原的分布式数据集！RDD是一个逻辑概念，一个RDD中有多个分区，一个分区在Executor节点上执行时，他就是一个迭代器。一个RDD有多个分区，一个分区肯定在一台机器上，但是一台机器可以有多个分区，我们要操作的是分布在多台机器上的数据，而RDD相当于是一个代理，对RDD进行操作其实就是对分区进行操作，就是对每一台机器上的迭代器进行操作，因为迭代器引用着我们要操...
2018-04-08 19:36:42
9403
1
转载 elasticsearch常见问题总结
1、unable to install syscall filter：Java.lang.UnsupportedOperationException:seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMPandCONFIG_SECCOMP_FILTERcompiledinatorg.elasticsearch.bootstrap.
2018-03-12 19:24:07
568
原创 Linux下安装elk，简单测试；（笔记）
版本：1. elasticsearch-5.6.4.tar.gz2. jdk-8u131-linux-x64.rpm3. kibana-5.2.0-linux-x86_64.tar.gz4. logstash-5.6.3.tar.gz接下来要有一台虚拟机，然后先输入命令 yum install lrzsz （我用的是xshell连接Linux虚拟机）我们将这几个包拉进来，然后卸载Linux系统带的...
2018-03-12 19:20:56
1439
原创 kafka笔记(常用的一些命令，和安装测试！)
1.启动kafka （如果加入'>>/dev/null'）表示所有的内容都会丢失，而且不保存，也就是我们听过的“黑洞”的意思，如果后面再加上一个 & 表示后台运行bin/kafka-server-start.sh config/server.properties >>/dev/null 2>&1 &2.启动zookeeper（kafka自带的）bin/zookeeper-ser
2018-03-08 13:28:48
216
转载 Windows 配置好 JDK 1.8或1.9后，无法再降为1.7的解决方法
正常情况下，JDK的升降级只需更改环境变量即可可是到了1.8版本，oracle使了一点小手段，在系统Path中添加一条变量C:\ProgramData\Oracle\Java\javapath，在此目录下，会有3个exe的快捷方式java.exe、javaw.exe和javaws.exe在你运行java 或者javac时，会默认找到此目录同时，在C:\Windows\System32目录下也存在这...
2018-03-08 08:44:39
1194
原创 Linux系统下NAT模式连不上网解决方案
NAT连不上网解决如下；上面这一步可做可不做，无所谓，这一步只不过是又生成一个网络连接而已！接下来点击编辑，然后选择虚拟机编辑然后打开计算机的控制面板，找到网络和internet点进去，然后在点击网络和共享中心双击点进去，然后点击属性然后重新打开虚拟机，
2018-01-30 14:42:11
9265
原创 项目在引入Dubbo之后，XML文件报错：cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can
打开myeclipse软件windows->preferrence->xml->xmlcatalog add->catalog entry ->file system 选择刚刚下载的文件路径修改key值和配置文件的http://code.alibabatech.com/schema/dubbo/dubbo.xsd 相同保存。。在xml文件右键validate ok解决了。
2018-01-30 11:46:06
376
原创 Linux设置定时脚本！
首先安装crontab[root@CentOS ~]# yum install vixie-cron[root@CentOS ~]# yum install crontabsvixie-cron软件包是cron的主程序； crontabs软件包是用来安装、卸装、或列举用来驱动 cron 守护进程的表格的程序。然后开启crontab服务service crond start
2018-01-25 17:47:35
502
原创 idea如何导入jar包，和如何生成jar包！
导入jar首先打开idea软件，然后创建一个项目，这些简单步骤我不说了，直接说导入j所需要的依赖jar，导入生成的jar接下来我们来生成jar，看图说话！说到这里我们的jar已经生成，然后，就结束了！
2018-01-25 08:33:42
488
原创 详解如何在 IntelliJ IDEA 2017 新建项目
我们第一次打开软件会出现此窗口，简单介绍一下这些都是干嘛的Create New Project 是创建新项目工程的入口Import Project 是导入项目工程的入口Open 是打开一个已有项目，可以直接打开 Eclipse 项目，但需要一定的配置。Check out from Version Control 是导入托管在 VCS(GitHub,Git,CVS等) 上的项目入口Con
2018-01-23 17:24:39
11920
1
原创 hive命令（笔记）
创建分区表create external table 表名(id int,name string) partitioned by (name=username) row format delimiyed fields terminated by "\t" location '表名'将文件添加到分区表中load data local inpath '文件路径名' into table 表
2018-01-22 16:39:56
186
原创 sqoop导入MySQL数据出现Call From hadoop/172.16.59.90 to hadoop:10020 failed on connection exception: java.n
利用sqoop导入MySQL数据的时候出现ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: java.net.ConnectException: Call From hadoop/172.16.59.90 to hadoop:10020 failed on co
2018-01-18 14:45:22
949
原创 hive可视化图形页面（hwi）
如何访问hive的hwi页面，我用的hive版本是apache-hive-0.13.0-bin.tar.gz，所以访问web页面也下载一个对应的war文件；apache-hive-0.13.0-src.tar.gz 下载地址：http://archive.apache.org/dist/hive/hive-0.13.0/apache-hive-0.13.0-src.tar.gz我
2018-01-09 09:17:27
8875
1
原创 Windows系统下连接数据库（Hive笔记）
首先安装Hive，将hive目录下的conf里的hive-default.xml.template文件改掉命令：mv hive-default.xml.template hive-site.xml然后编辑里面的内容；命令：vim hive-site.xml将里面的好多内容删除掉；命令是，：21,$d然后配置文件； javax.jdo.option.Conne
2018-01-08 17:29:01
2819
原创 java操作HBase表的增，删，查！
package Hbase_zk;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTab
2018-01-04 19:39:59
483
1
原创 Linux系统下安装数据库（笔记）
首先下载；下载MySQL-client-5.1.73-1.glibc23.x86_64.rpm和MySQL-server-5.1.73-1.glibc23.x86_64.rpm地址：http://ftp.ntu.edu.tw/pub/MySQL/Downloads/MySQL-5.1/然后把下载好的包拉进Linux系统中！接下来查看一下Linux系统自己带的数据库；
2018-01-04 14:22:36
4904
2
原创 Hbase配置文件详解笔记
hbase.cluster.distributed ：Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的'/hbase'目
2018-01-04 09:15:52
1202
1
原创 dubbo+zk+spring的小demo案例（笔记）
什么是dubbo？简单的说就是一个远程服务调用的分布式框架；什么是zookeeper？zk就是一个分布式协调服务；话不多说，接下来直接操作；首先下载zk！http://zookeeper.apache.org/ 打开此zk官网，然后我都用图片截图，直接按着操作就行；那么好，点到这里你会看到很多zk版本，在这
2017-12-29 09:47:54
1567
1
原创 折半查询
public static void main(String[] args) { int[] i={20,5,12,23,65,48,22}; System.out.println(find(i, 12)); } public static int find(int i[],int key){ //定义三个变量，用来接收数组长度，并且计算折半计算； int max=i.leng
2017-12-22 16:38:30
196
原创 快速排序
相对冒泡排序、选择排序等算法而言，快速排序的具体算法原理及实现有一定的难度。为了更好地理解快速排序，我们仍然以举例说明的形式来详细描述快速排序的算法原理。在前面的排序算法中，我们以5名运动员的身高排序问题为例进行讲解，为了更好地体现快速排序的特点，这里我们再额外添加3名运动员。实例中的8名运动员及其身高信息详细如下(F、G、H为新增的运动员)： A(181)、B(169)、C(187)、D(172
2017-12-22 15:06:39
305
原创 maven项目的继承和聚合实例
聚合的意义： 对于一个大型的项目，如果我们直接作为一个工程开发，由于相互之间的依赖我们只能从头到尾由一组人开发，否则就会出现一个类好多人开发，相互更改的混乱局面，这个时候我们就将项目进行了横向和纵向的拆分。 所谓的横向的拆分就是我们平常说的三层架构，将项目分成了web层，service层、dao层（web层也被叫做表现层，service层也被叫做业务层，dao层也被持久层），可
2017-12-21 08:06:50
2126
1
原创 三目运算符
对于条件表达式b?x:y，先计算条件b，然后进行判断。如果b的值为true，计算x的值，运算结果为x的值；否则，计算y的值，运算结果为y的值。一个条件表达式从不会既计算x，又计算y。例子 int i=1; int m=2; int k=3; r=ik?(k>m):(k>i)):(i+m>k?(kk?(k>m):(k>i)):(i+m>k?(k<m):(k<i))
2017-12-19 16:50:17
346
原创 Writable的实现
Text类型Text类型使用变长int型存储长度，所以Text类型的最大存储为2G.BytesWritable类型ByteWritable类型是一个二进制数组的封装类型，序列化格式是以一个4字节的整数(这点与Text不同，Text是以变长int开头)开始表明字节数组的长度，然后接下来就是数组本身NullWritable类型
2017-12-19 10:03:17
549
原创 Maven可继承的POM 元素
groupId ：项目组 ID ，项目坐标的核心元素； version ：项目版本，项目坐标的核心元素； description ：项目的描述信息； organization ：项目的组织信息； inceptionYear ：项目的创始年份； url ：项目的 url 地址 develoers ：项目的开发者信息； contributors ：项目的贡献者
2017-12-17 19:05:52
292
原创 解决pom.xml文件导入hadoop包后出现的包冲突问题！
在搭建web项目时候，配置pom.xml文件时候，导入hadoop包后，运行出现如下错误：HTTP Status 500 - java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationResult.getProblems()[Lorg/eclipse/jdt/core/compiler/IProb
2017-12-11 17:21:41
3826
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人