2019年01月_根哥的博客

原创 linux集群：设置时间同步

1，使用命令date -sfor((i=101;i&amp;amp;amp;amp;lt;=103;i++))do #获取当前机器时间: 年月日，时分秒 datestr=`date +%y-%m-%d` datestr2=`date +%H:%M:%S` #同步其他主机时间 echo &amp;amp;amp;quot;ssh s$idate -s--------$date

2019-01-27 22:50:57 1641

原创 linux磁盘管理：添加磁盘，lvm分区扩容

在vmware,virtualbox等虚拟化软件中，可以模拟硬盘扩展，当空间不足时，可以添加一块新的硬盘，然后分区，格式化，并且挂载使用硬盘分区，格式化，挂载[root@s101 ~]# history 739 fdisk -l #查看新增的硬盘 740 fdisk /dev/sdb #分区，p ,1 , w 741 fdisk -l ...

2019-01-27 16:18:10 866

原创 windows配置nginx像centos一样开机自启

在centos中，设置开机启动脚本可以在： /etc/rc.d/rc.local 这个可执行文件中加入自定义的脚本路径即可，如设置CDH集群开机启动：（由于cloudera-manager使用解压安装的方式，不能直接使用systemctl enable xx）创建集群启动脚本[root@s101 ~]# cat /root/sh/cdh.sh for((i=128;i<=130;...

2019-01-27 16:01:40 389

原创 windows server 2012设置远程连接断开后自动注销

windows server 2012服务器默认远程连接断开后，不会自动注销会话，这会导致时间久了超过连接数限制，使得不能远程登陆，所以要进行配置1, 打开配置界面win + r 打开命令输入框，在运行框中输入gpedit.msc，回车找到：计算机设置 —&gt; 管理模块—&gt; windows组件----&gt;远程桌面服务选择：远程桌面会话主机 —&gt; 会话时间限制...

2019-01-26 19:50:44 25101 4

原创 springboot案例helloworld，分页插件

在idea下，创建java项目，配置maven支持1, 配置pom.xml&amp;amp;amp;amp;amp;lt;parent&amp;amp;amp;amp;amp;gt; &amp;amp;amp;amp;amp;lt;groupId&amp;amp;amp;amp;amp;gt;org.springframework.boot&amp;amp;amp;amp;amp;lt;/group

2019-01-22 16:58:59 418

原创 java日期工具类Calendar

1，获取时间：年，月，日时：分：秒Calendar calendar = Calendar.getInstance(); int year = calendar.get(Calendar.YEAR); int month = calendar.get(Calendar.MONTH); int day_month = calendar.get(Calendar.DAY_OF_MONTH...

2019-01-21 16:40:52 572

原创编程语言-go:类与对象的概念

go中没有类和对象的概念，只有struct和变量与之对应1，定义“类”: structtype Books struct{ title string author string id int }2, 创建“对象”: 变量 var book1 Books book1.title="go-languange" book1...

2019-01-20 16:20:55 2332

原创编程语言-go：变量声明，数据类型，流程控制，循环语句

go语言sdk下载：https://golang.google.cn/dl/1，go语言数据类型a, 基本数据类型整数浮点数布尔类型字符串固定值true,false“xx”有符号int, &amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp; int8, &amp;amp;amp;amp;amp;amp;amp;amp;amp;nbsp;

2019-01-20 09:52:18 11786

原创 CDH5.6：spark(rdd, sql)性能对比

hbase 表：602401条数据，两种计算方式对比结果：rdd使用cache()单次计算: 90秒计算量增加不影响时间消耗编程难度较大df 使用registerTempTable(" xx ")单次计算: 110秒计算量增加会逐步增加时间的消耗编程难度较小spark rdd----- > 1次： time= 91，481 1.5分钟 ...

2019-01-16 17:14:25 1262 1

原创 linux内存不够用，使用swap缓存

当内存不够用时，很多程序启动不了，所以需要使用swap缓存mkdir /myswap#+ 4.2Gdd if=/dev/zero of=/myswap/swp1 bs=2048 count=2048000mkswap /myswap/swp1 swapon /myswap/swp1 # 开机自动挂载echo &amp;quot;/myswap/swap1 swap swap defaults 0 ...

2019-01-16 11:50:30 1595

原创 docker系列9： docker安装cdh集群[单机多节点]

继上篇 docker系列3：docker搭建cdh单机版，只有一个节点，若想搭建多节点集群，可以参考官方文档：https://hub.docker.com/r/cloudera/clusterdock1，运行脚本：启动容器# docker-cdh集群：单机模拟多节点source /dev/stdin &amp;amp;lt;&amp;amp;lt;&amp;amp;lt; &amp;quot;$(curl -sL http://

2019-01-16 10:55:20 10547

原创 spark streaming程序的优雅关闭

使用ssc.awaitTermination()来退出，程序只能在开始的终端处control + c来结束，不方便管理，所以使用自定义方法来替换掉： stopByMarkFile(ssc,hadoop_file)，代码如下def stopByMarkFile(ssc:StreamingContext, hadoop_file:String):Unit= { val intervalM...

2019-01-14 15:54:10 2491 1

原创使用代码管理 spark作业: submit, kill

1, spark job提交import org.apache.spark.launcher.SparkLauncher;import java.io.IOException;import java.util.HashMap;public class Submit_launcher { public static void main(String[] args) throw...

2019-01-14 12:14:14 1778 1

原创在idea中使用tomcat 和打war包

1，创建springmvc demo项目a, 配置pom.xml依赖new module --&amp;amp;amp;amp;amp;amp;amp;amp;gt; java webapplication : 添加maven支持，配置pom.xml如下&amp;amp;amp;amp;amp;amp;amp;amp;lt;properties&amp;amp;amp;amp;amp;amp;amp;amp;gt; &am

2019-01-11 18:17:09 4158

原创 windows安装cgwin, openssh

1, 为了使用方便，支持ls, rm,passwd 等命令，需要安装cgwin2, openssh 安装过程没有提示修改密码，导致ssh localhost提示密码错误，需要passwd命令修改用户密码，而这些数据是和cgwin共享的所以，最好是组合安装cgwin + openssh下载地址： http://www.cygwin.com/， http://www.mls-softwar...

2019-01-10 10:18:32 1531 1

原创 windows服务器搭建CDH集群：配置nginx反向代理虚拟机

1，块丢失 &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp; namenode高可用失效=&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;两个nn都是active_1073755565 /hbase/data/default/V_ESBH

2019-01-08 23:55:18 1372

原创 docker系列7： docker搭建mysql

使用场景：在windows server 2012 服务器上使用docker-mysql服务，由于docker windows使用的是virtualbox 虚拟机安装的容器，所以使用docker run -p xx:xx 不能让外界直接访问，所以用到了nginx来反向代理，实现windows —&amp;amp;amp;amp;amp;amp;amp;amp;gt; docker:mysql1, 启动docker-mysql服务#创建目录：在宿主机...

2019-01-08 21:29:57 668

原创 hbase数据转移: 导入导出

两个hadoop集群之间，需要数据转移，如何操作：hbase数据分： zk元数据 + hdfs表记录数据hbase数据分： hdfs数据可以上传下载， zk元数据可以自动修复于是：得到以下办法==&amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;gt;位置hbase数据s101集群：1.2.6空s102集群： 1.2.6ns1:person#s101节点: hba

2019-01-02 17:40:09 1170

eyeofeagle的博客