- 博客(72)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 人工智能--机器学习实战总结（Machine Learning in Action ）
一机器学习简介二机器学习实战1 k-近邻2 决策树ID33 朴素贝叶斯Naive Bayes4 逻辑回归Logistic Regression5 支持向量机SVM传统机器学习算法的扛把子6 Adaptive Boosting 传统机器学习中的扛把子7 线性回归Linear Regression8 分类回归树-Classification and Regression
2017-07-10 20:14:13
1449
原创 ##公司合作项目--基于质差指标筛选结果的 spark-sql 查询系统Demo
一系统简介数据简介系统功能二处理流程数据处理spark-sql 使用流程一.系统简介1.数据简介：本Demo系统所用数据是某省某运营商 IPTV 用户数据，基于此数据，经过一系列的数据清洗与数学建模，最终得到了三个质差用户指标，本Demo系统是基于初步筛选的七个指标的数据进行的。2.系统功能：在上述的有七个指标的数据中，通过质差指标对新的用户数据进行筛选，筛选出来的即为质差用户-质差设备，
2017-07-08 20:56:59
683
原创 Spark-1.0.0 SQL使用简介
上传文件到HDFS启动 sql1.上传文件到HDFShttp://blog.csdn.net/zhaolei5911/article/details/645147262.启动 sqlspark1.0.0 中 sql 启动是直接在 spark-shell 启动后 启动val sqlContext = new org.apache.spark.sql.SQLContext(sc)import sql
2017-07-08 00:06:56
473
原创 Spark on yarn Intellij ide 安装，编译，打包，集群运行 详解
一intellij 安装centos65系统步骤一步骤二步骤三本地运行打包集群 yarn 运行说明：已经安装好hadoop2.2.0 完全分布，scala，spark已安装好，环境配置完毕；主机为hadoop-master，hadoop-slave一.intellij 安装（centos6.5系统）1.需要安装包ideaIc-2017.1.tar.gz（http://pan.baidu.co
2017-03-28 14:26:34
1952
原创 spark/hdfs..操作命令，常用
1.查看 hdfs 里文件 hadoop fs -ls -R / 2.在 hdfs中新建目录 hadoop fs -mkdir -p /data/wordcount 3.上传文件到hdfs hadoop fs -put /usr/local/cluster/hadoop/etc/hadoop/slaves /data/wordcount/将slaves文件传到hdfs下的wordcount
2017-03-21 21:26:10
2447
原创 大数据集群机房事项：
一服务器事项一.服务器事项：1.商用服务器一般要拥有双插座的中级机架式服务器（支持足够多的容错内存），建议NAMENODE做RAID(0/5),因为可以提高可靠性，但是不建议在Datanode上做RAID，因为HDFS已经内置了复制和容错功能（一般寻三份，在计算节点上，由HDFS划分block）。 2.小集群主机至少支持运行1Gb网卡，大集群要使用10GB的TOR交换机
2017-03-20 15:30:15
1085
原创 spark on yarn 集群 安装
一集群基础环境centos65 64 位 Hadoop 完全分布见教程httpblogcsdnnetu011414200articledetails47681711集群说明安装包二 scala 安装三安装配置spark一.集群基础环境1. centos6.5 64 位 Hadoop 完全分布（见教程http://blog.csdn.net/u011414200/article/detail
2016-11-15 10:58:08
687
原创 Windows 单机模式 Spark 安装和 配置
一安装前说明二安装配置所需的安装包scala2104httppanbaiducoms1eSn2jsQIntellij IDE 20163 httppanbaiducoms1dFA4Pk1spark 140 httppanbaiducoms1bLQcY6三 windows7 安装 scala四Intellij IDE 安装五 Intellij IDE 中 scala 插件安装六运
2016-11-12 15:16:51
6043
1
转载 Spark-windows 下安装和wordcount使用
http://www.cnblogs.com/zlslch/p/5880926.html
2016-11-08 19:18:52
445
原创 JAVA 学习模块二十： String 类
1.public class Stringdemo { public static void main(String[] args){ /* String 类的特点 String 类： 1.字符串是一个特殊的对象 2.字符串一旦初始化就不可改变
2016-10-03 21:30:55
423
原创 JAVA 学习模块十九： 线程间通信
线程通信等待唤醒机制生产一只卖一只多生产多消费lock 接口停止线程1.线程通信/*线程间通信：多个线程，运行任务不一样，处理资源一样。*///资源class Resource{ String name; String sex;}//输入class Input implements Runnable{ Resource r;// Object o
2016-09-28 20:23:46
849
原创 JAVA 学习十八： 线程的四种状态
包线程的第二种开启方法同步应用1.包/*Package:1.对类文件进行分类管理2.给类提供多层命名空间3.写在程序文件的第一行4.类名的全称是 包名.类名5.包也是一种封装形式 public protected default privata同一类中 ok ok ok ok同一包中
2016-09-26 14:26:45
437
原创 JAVA 学习模块十八： 多线程
多线程定义多线程实现1.多线程定义/*多线程：java支持该技术进程的定义：（正在进行中的程序）不直接执行，只是在分配该应用程序的运行空间线程：执行路径，负责执行，负责进程中内容执行的一个控制单元，进程中肯定有线程。一个进程中可以有多个执行路径，即称为多线程。一个进程中至少有一个线程。开启多个线程是为了同时运行多部分代码。每一个线程都有自己运行的内容，这个内容称为线程要执行的任务。真实来讲并不
2016-09-22 21:03:24
381
原创 JAVA 学习模块十七： 异常
异常定义异常的处理方式1.异常定义/*异常：是在运行时发生的不正常情况在 java 中用类的形式对不正常的情况进行了描述和封装描述不正常情况的类就叫做异常类。以前正常流程代码和问题处理代码相结合。现在将正常流程代码和问题处理代码相分离，提高阅读性。其实异常就是java通过面向对象的思想将问题封装成了对象，用异常类对其描述。不同的问题用不同的类进行描述，比如角标越界，空指针等等。问题很多，意
2016-09-16 12:47:32
449
原创 JAVA 学习模块十六： Object
1.object 的定义/*Object: 所有类的根类Object 是不断抽取而来的，具备着所有对象都具备的共性内容。常用的共性内容：1. equals(Object obj) boolean:其他对象是否与此对象相等。2. hashCode 一般通过将该对象的内部地址转换成一个整数来实现（）3. getClass() 返回object 的运行时类。字节码对象 即Class(Object类
2016-09-14 20:54:27
417
原创 JAVA 学习模块十五： 内部类
内部类的定义内部类的特点匿名内部类1.内部类的定义/* 内部类：（内置类，嵌套类）将一个类定义在另一个类里面，对里面那个类就称为内部类。内部类的访问特点：1.内部类可以直接访问外部类中的成员2.外部类要访问内部类，必须建立内部类的对象一般用于类的设计。分析事物时，发现该事物描述中还有事物，而且这个事物还在访问被描述事物的内容。这时就是还有的事物定义成内部类来描述。*/class
2016-09-13 20:54:48
418
原创 JAVA 学习模块十四： 多态
多态使用多态的好处与弊端转型多态的特点1.多态使用/*对象的多态性：猫这类事物既具备猫的形态又具备动物的形态，这就是对象的多态性。简单说就是一个对象对应着不同类型。多态在代码中的体现： 父类或者接口的引用指向其子类的对象。*/abstract class Ani{ abstract void eat();}class Cat extends Ani{ vo
2016-09-13 14:29:44
399
原创 JAVA 学习模块十三： 接口
接口的定义java 中的多实现接口的特点接口的应用1.接口的定义/*当一个抽象类中的方法都是抽象的时候，这时可以将该抽象类用另一种形式和定义表示，就是接口。 interface定义接口使用的关键字是 interface对于接口中常见的成员：（这些成员都有固定的修饰符）1.全局常量： public static final2.抽象方法： public abstract由此可知，接口中的
2016-09-10 16:49:02
454
原创 JAVA 学习模块十二： Final 关键字 以及 继承（下）
Final 的作用继承下 抽象类abstract抽象类的五个问题抽象类练习1. Final 的作用/*继承的缺点： 打破了封装性final 关键字：1.final是一个修饰符，可以修饰类、方法、变量。2.final 修饰的类不可被继承。3.final 修饰的方法不可以被覆盖4.final修饰的变量是一个常量，只能赋值一次。为什么要用 final 修饰变量，其实如果一个数据在程序里是固
2016-09-10 14:30:35
334
原创 JAVA 学习模块十一： 继承
基本形式和概念继承的具体使用1.基本形式和概念/*优点：1.提高了代码的复用性2.让类与类之间产生了关系，给第三个特征多态提供了前提java 中支持单继承，不直接支持多继承，但对c++中的多继承机制进行了改良单继承： 一个子类只有一个直接父类多继承： 一个子类可以有多个直接父类（Java中不允许） 不支持是因为多个父类中有相同成员，会产生调用不确定性java 支持多层（
2016-09-06 22:24:05
393
1
原创 JAVA 学习模块十： 设计模式
一单例设计模式一.单例设计模式/*设计模式：对问题行之有效的解决方式。其实它是一种思想。1。单例设计模式 解决的问题：可以保证一个类在内存中的对象唯一性。必须对于多个程序使用同一个配置信息对象时，就需要保证该对象的唯一性。如何保证对象的唯一性：1.不允许其他程序用 new 创建该类对象。2.在该类创建一个本类实例。3.对外提供一个方法让其他程序可以获取该对象。步骤：1.私有化该
2016-09-06 21:16:27
423
原创 JAVA 学习模块九： static（静态）关键字
static 修饰的 变量是所有对象共享的数据static 的特点成员变量和静态变量的区别静态 使用中的注意细节main 函数1. static 修饰的 变量是所有对象共享的数据static 修饰的是对象创建之前就存在，可以用。 static 修饰的变量可以直接被类名调用class deo { public static void main(String[] args)
2016-08-31 22:22:13
833
原创 JAVA 学习模块八：构造函数
一构造函数特点一般函数和构造函数的区别This 关键字一.构造函数特点1.函数名与类名相同 2.不用定义返回值类型 3.没有具体的返回值/*构造函数： 构建创造对象时调用的函数 作用： 可以给对象进行初始化。创建函数都必须要通过构造函数初始化一个类中如果没有定义过构造函数，那么该类中会有一个默认的空参数的构造函数。如果类中定义了指定的构造函数，那么类中默认的构造函数就没有了*/cl
2016-08-31 20:43:26
412
原创 JAVA 学习模块七： 二维数组
二维数组的格式遍历二维数组二维数组使用场景1.二维数组的格式/*二维数组格式：*/class Array2Demo{ public static void main(String[] args) { int[][] arr = new int[3][2];//二维数组里有三个一维数组，每个一维数组里有两个元素 System.out.printl
2016-08-30 20:12:06
401
原创 JAVA 学习模块六： 面向对象
面向过程与面向对象1.面向过程与面向对象1.面向过程：强调的是过程，即动作。（c语言：以函数体现，然后对函数调用）2.面向对象：强调的是对象（实体）。（将过程进行封装）（c++，java，c#）
2016-08-26 21:16:58
581
原创 centos 6.5 下 安装 mysql 并实现远程登录使用
安装 mysql启动 mysql实现windows远程端连接 mysql以navicat for mysql 为例mysql 的相关操作1.安装 mysql1.查看下是否有系统自带mysql的rpm包，如果有，需要删除自带的旧rpm包 rpm -qa | grep mysql 如果系统显示如下格式：mysql-libs-5.1.71-1.el6.x86_64 说明系统已经安装 mysql 需
2016-08-26 19:34:31
2617
原创 JAVA 学习模块五：排序与查找
1.选择排序选择排序是指从第一个开始排序，第一个空排完排第二个。class Abb { public static void main(String[] args) { int[] arr = {1,3,5,2,7,6,9}; slectsort(arr); for (int x =0;x<arr.length ;x++ )
2016-08-25 20:22:07
380
原创 JAVA 学习模块四： 数组
一数组的定义容器二数组的使用格式栈内存堆内存数组操作时的问题数组中常见的操作一.数组的定义（容器）1.同一种类型数据的集合，其实数组就是一个容器 2.数组可以给其中的数据从0开始编号，方便操作这些元素。二.数组的使用格式JVM 内存划分： 1.寄存器（用于cpu） 2.本地方法区（与系统有关） 3.方法区（）4.栈内存（）1.栈内存存储的都是局部变量（定义在方法中的变量都是局部变
2016-08-24 20:56:29
476
原创 JAVA 学习模块三： 函数（方法）
一函数的定义方法的定义二函数demo三函数特点四 函数运行流程内存使用五函数的重载overload六函数的复用一.函数的定义（方法的定义）：定义在类中具有特定功能的一段独立小程序即也称为方法。二.函数demo： 注：（main 方法为static 时其调用的 其他方法也要是static） 注意： 函数名应该是第一个单词小写后面单词开头大写。 *特殊情况： 功能没有具体的返回值。
2016-08-24 16:03:37
877
原创 JAVA学习模块二：程序控制流程
[toc]JAVA控制流程1. IF 判断语句：（对区间/具体的值/boolean值 进行判断）第一种形式： if后{ } 可以去掉，去掉后执行紧跟if的单条（与单行有差异）语句 第二种形式： 等价于三元运算符：与if/else语句的差别是它必须有运算结果，而if语句可以为空 第三种形式：多条件判断 switch 选择语句：（对具体的值进行判断）注：1.witch 语句 只有四
2016-08-23 15:15:33
601
原创 TCP/IP 各层对邮件的收发处理
TCPIP 各层对邮件的收发处过程需求主机 A 向主机 B 发送一封电子邮件内容为早上好一 应用层应用层表示层会话层二传输层三网络层四数据链路层分层中包的结构TCP/IP 各层对邮件的收发处过程需求：主机 A 向主机 B 发送一封电子邮件，内容为”早上好“一. 应用层（应用层、表示层、会话层）1.应用层： 启动应用层中的应用程序新建邮件，将邮件内容”早上好“以及收件人地址 B 填好，然
2016-08-22 12:17:43
1840
原创 JAVA 学习模块一：基础知识
一关键字二标识符三注释机试时必加注释四常量和变量常量变量五运算符一.关键字1.关键字均为小写的英文字母 2.常用关键字只有 class（声明类）、public、static、void（无返回）二.标识符1.标识符由 0-9，A-B,a-b，$,_, 五种组成 2.标识符不可用数字开头，不可用关键字 3.类名一般开头要写，main 是标识符（主函数）三.注释（机试时必加注释）1.注释
2016-08-21 16:53:59
622
原创 飞虎集群hadoop集群断电后启动问题
问题描述解决问题问题描述在hadoop集群未能正常关闭时再重新启动会出现集群启动不了等多个问题，这些问题其中一个就是 1. 节点连接不上（如下图） 解决问题1.通过网页进入master主页（如下图） 2.按如下图操作
2016-08-17 21:05:19
749
原创 机房断电重启时出现的网络问题
问题描述问题描述机房断电时经常会出现网络的使用问题，具体解决办法如下： 1.看 eth1 里是否有 BRIGGE = bro 2.先启动 eth1 再启动 br0 （ifup）
2016-08-17 20:46:41
1767
原创 centos 6.5 安装 docker 容器
总体介绍安装步骤EPEL 安装httpwwwcnblogscomSunnyZhup5420549htmlDocker 安装1.系统版本：centos6.5总体介绍在centos6.5 中安装docker 安装前需要先安装EPEL，它提供了 docker 的安装包 docker-io 。随后即可安装docker安装步骤1.EPEL 安装（http://www.cnblogs.com/SunnyZ
2016-07-06 20:18:58
749
原创 NAS 服务器的开关机顺序及使用
一：本实验室的 nas 服务器结构如图所示。开机顺序：v7000 ->机柜->机头关机顺序：和开机相反二：NAS 服务器的使用df -h 命令看linux服务器是否挂载nas如未挂载则使用如下命令挂载 ~ mkdir /nlsas ~mount -t nfs 10.6.2.150:/ibm/nlsas /nlsas 卸载用umount开机自启动挂载nas ~vi /etc/rc.
2016-06-21 15:04:12
5106
原创 大数据组hadoop集群启动
一.启动总体顺序 zookeeper -> hadoop -> hbase 二.用脚本启动过程（初次启动） 1.启动zookeepeer： 使用 sh zk-manager.sh start 命令（manage02） 2.格式化 zookeepeer（manage02） hdfs zkfc –formatZK 3.启动 JournalNo
2016-05-28 10:34:19
666
原创 无线楼一楼机房断电重启问题
1.10.6.2.120机器： 1.重启后ssh会出现问题，一般执行 /etc/init.d/sshd start 命令即可。 2.硬盘挂载问题导致部分虚拟机起不来，解决办法： 1.查看挂载情况： fdisk -l 2.查看挂载点：df -h 例： mount /dev/sdb /newdisk(经常出问题的盘) 2.10.6.2.1
2016-05-27 14:05:57
510
转载 Operation category READ is not supported in state standby解决办法
参考的文章：http://www.cnblogs.com/smartloli/p/4298430.html 当然，在操作的过程中，发现与上述文章中描述的还是有一些小小的区别。 配置好后，start-dfs.sh start-yarn.sh之后，相关的进程，会自动被启动。包括 namenode两个进程,zkfc,journal 等，不需要自己手动启动。 但是standby的namenode的r
2016-05-24 21:15:27
32453
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人