2017年05月_编程圈子

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 JAVA基础应用——执行外部程序(Apache Commons Exec)

Runtime.getRuntime().exec调用外部程序，在Tomcat下会有当前线程一直等待的现象。Apache Commons Exec是一个开源的Java调用外部程序类库，提供阻塞和非阻塞方法调用外部程序。官网地址： http://commons.apache.org/proper/commons-exec/Maven： http://mvnrepository.com/arti

2017-05-27 15:03:09 2225 1

原创 CSDN机器学习笔记一概述、线性回归

一、定义在统计学中，线性回归（Linear Regression）是利用称为“线性回归方程”的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归大于一个自变量情况的叫做多元回归。一个带有一个自变量的线性回归方程代表一条直线。我们需要对线性回归结果进行统计分析。线性回归利用数理统计中回归

2017-05-26 14:52:27 1215

原创机器学习——学习路线图

一、预备知识微积分（偏导数、梯度等等）概率论与数理统计（例如极大似然估计、中央极限定理、大数法则等等）最优化方法（比如梯度下降、牛顿-拉普什方法、变分法（欧拉-拉格朗日方程）、凸优化等等）二、路线1（基于普通最小二乘法的）简单线性回归 -> 线性回归中的新进展（岭回归和LASSO回归）->(此处可以插入Bagging和AdaBoost的内容)-> Logistic回归 ->支持向量机（SVM

2017-05-24 08:37:16 10187 4

原创 Hive JDBC Java示例项目

一、搭建Hive JDBC开发环境首先要启动hive监听程序hive --service hiveserver &默认端口10000创建Maven工程项目结构：新建TestHiveJdbc工程创建pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem

2017-05-19 08:12:42 3840 1

1could only be replicated to 0 nodes instead of minReplication (=1)运行hive时出现这个错误，在hadoop上运行jps，发现datanode没有启动起来，需要启动datanode 2FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization fail

2017-05-18 13:49:26 660

原创 Hive 客户端工具

一、SQuirrel SQL Client可以连接Hive,SparkThriftServer网址http://squirrel-sql.sourceforge.net/安装启动安装程序启动程序建立一个Hive连接问题处理 User: root is not allowed to impersonate hive <property> <name>hive

2017-05-17 09:52:49 8662 1

原创 CentOS下 Nginx+PHP配置Session+Redis

一、环境已安装 CentOS / Nginx / PHP二、安装 Redishttp://blog.csdn.net/xundh/article/details/45980437三、安装 php-redis扩展yum install php-develcurl -O https://nodeload.github.com/nicolasff/phpredis/zip/mastertar -zxf

2017-05-16 20:53:34 1807

原创 CentOS7 防火墙

1.FirewallD提供了支持网络/防火墙区域(zone)定义网络链接以及接口安全等级的动态防火墙管理工具。查看版本firewall-cmd --version查看状态systemctl status firewalld.service ORfirewall-cmd --state获取启用的zonefirewall-cmd --get-active-zones查看指定区域中开放的端口和服务

2017-05-10 18:56:04 897

原创 CentOS NTP/chronyd 服务搭建

1.试验环境CentOS Linux release 7.0.1406 (Core) 2台虚拟机名称操作系统 IP master centos7 192.10.200.81 slave1 centos7 192.10.200.85已经设置好hosts文件2.安装服务端yum -y install ntpservice ntpd statussystemc

2017-05-10 18:46:38 661

原创 CentOS SSH免密登陆

SSH 免密登陆

2017-05-10 18:14:01 1005

原创 PHP Laravel (Homestead)开发环境搭建

开发环境Win7VirtualBox5.1.14Vagrant 1.8.1_91.安装VirtualBox5.1.14 https://www.virtualbox.org/2.安装Vagrant https://www.vagrantup.com/downloads.html执行命令vagrant box add laravel/homestead 这一步很可能会失败，可以使用离线下

2017-05-09 21:40:43 1231

原创运维基础——Zabbix 安装Win客户端

运维基础——Zabbix 安装Win客户端

2017-05-09 15:49:53 695

原创运维基础——Zabbix 添加web页面url状态监控

Web页面URL监控点“组态”（配置）选择要设置的主机点击应用集创建应用集填写应用集名称创建场景在步骤里添加网址启动创建触发器点击表达式后的添加，然后点项目后的选择

2017-05-09 13:16:25 4559

原创运维基础——Zabbix：Lack of free swap space on Zabbix server

问题使用Zabbix监控一些云主机时，可能遇到：Lack of free swap space on Zabbix server使用命令：free -m 看到： Swap 的total,used,free值都是0。这是因为Zabbix没有考虑云主机用户。处理步骤：Configuration-Templates-Template OS Linux-Triggers 选择 Lack of free

2017-05-09 09:55:08 9979

原创运维基础——Zabbix 添加磁盘空间监控

1. Configuration-Templates-Create template 2.输入Template name：disk space 50Gb 3.点击 Items(0)-Create item 4.选择Triggers(0)-Create triggers Expression ` {disk space 50Gb:vfs.fs.size[/data,free].last()

2017-05-09 09:39:24 18850

原创大数据学习——Ambari

Ambari一、项目简介Ambari也是Apache的顶级项目。主要用来创建、管理、监视Hadoop集群（如Hive，Hbase，Sqoop，Zookeeper等）项目地址：http://incubator.apache.org/ambari/ Ambari自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server和Ambari Agent。用户通过Ambari Server通

2017-05-08 17:12:09 1146

原创 Hive HQL数据操作、数据查询

一、HQL 数据操作1.装载数据LOAD DATA INPATH '/user/hadoop/o' INTO TABLE test;如果test表是一个分区表，则在HQL中指定区分：LOAD DATA INPATH '/USER/HADOOP/O' OVERWRITE INTO TABLE test3 PARTITION(part="a");从本地直接加载数据表表中LOAD DATA LOCAL I

2017-05-08 14:21:05 4849

原创 Hive 运算符与函数操作

一、 Hive运算符1. 关系运算符常见的= <> < > <= >=空值判断 IS NULL非空判断 IS NOT NULLLIKE LIKEJAVA的LIKE操作 RLIKEREGEXP操作 REGEXP示例：hive> select 1 from dual where 1=1;2. 逻辑运算符+ - * / %& 位与 | 位或 ^ 位异或 ~ 位取反

2017-05-08 13:16:06 4022

原创 Hive 数据类型和存储格式、建表操作

本文部分内容来源《Hadoop海量数据处理技术详解与项目实战》一、基本数据类型数据类型所占字节开始支持版本 TINYINT 1byte，-128 ~ 127 SMALLINT 2byte，-32,768 ~ 32,767 INT 4byte,-2,147,483,648 ~ 2,147,483,647 BIGINT 8byte,-

2017-05-08 13:15:12 9944

原创 Hadoop 学习笔记九 HA高可用设置

一、概述早期的hadoop版本，NN是HDFS集群的单点故障点，每个集群只有一个NN。为了解决个问题，出现了一堆针对HDFS HA的解决方案，如：Linux HA，VMware FI，shared NAS+NFS，BookKeeper，QJM/Quorum Journal Manager，BackupNode等。1. SPOF方案Secondary NameNode，并非HABackup Na

2017-05-03 16:58:04 820

原创 Hadoop 学习笔记八任务远程提交--Java远程提交

Hadoop运行计算任务，大概有以下几种方式把MapReduce任务打包到jar里，上传到服务器，用命令行启动通过Java向Hadoop集群提交MapReduce任务服务器的hadoop配置拷到本地，设置hosts指向namenode和resourcemanager，本地执行hadoop jar任务做成schedule，定时调用shell脚本运行java任务Eclipse的hadoop插件

2017-05-03 08:30:02 2063