- 博客(22)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Logistic Regression with a Neural Network mindset （course 1 week 2）
是对吴恩达的 deep learning课的总结课程中的使用到的数据我会上传到CSDN。Logistic Regression with a Neural Network mindsetWelcome to your first (required) programming assignment! You will build a logistic regression classif
2018-01-25 14:55:19
1294
1
原创 ubuntu安装Hadoop的问题
前提是你已经安装好Hadoop了，该篇blog是讲怎么安装，安装请进：http://blog.csdn.net/yangzhiyouvl/article/details/52093719问题描述：Hadoop能够正常启动，jps 命令能够查看到所有的节点。但是上传文件会失败，报错为：put: File /input/1.txt.COPYING could only be replicated to
2017-04-12 15:42:41
547
原创 机器学习基础算法小结
机器学习的问题更多的对算法模型的优化，特征工程也属于对算法模型的优化，这一点在后面均有体现。说明：本文是对部分机器学习的算法模型的思想进行抽取，不会出现详细的推导。先看一下要掌握的算法有哪些，我个人觉得部分算法有点偏，不过应该是在某个领域里有应用而且效果很好，否则不会成为必掌握的算法。 线性回归1、线性函数的表示： f(x)=θ0x0+θ1x1+⋯+θnxnf\left ( x \right )
2017-02-08 19:06:11
1395
转载 绘制学习曲线，以确定模型的学习状况
绘制学习曲线，以确定模型的学习状况from sklearn.svm import LinearSVCfrom sklearn.learning_curve import learning_curve# 绘制学习曲线，以确定模型的状况def plot_learning_curve(estimator, title, X, y,ylim=None, cv=None,
2016-12-31 13:43:27
5224
1
翻译 你应该知道的7种回归方法
本文是我从国外网站翻译而来的文章，如有错误之处，敬请指出！ 原文标题：7 Types of Regression Techniques you should know! 链接：https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/Introduction线性回归(Linear regressions
2016-12-31 13:05:52
42232
2
原创 机器学习中基本知识及资源
机器学习中基本知识及资源Resource of Machine Learning初学者如何从零学习人工智能？看完你就懂了还有台湾大学林轩田教授在coursera上的两门关于机器学习的课程。机器学习—林轩田模型中中数学这里有一篇关于参数估计的文章，讲的比较清楚。先验概率、最大似然估计、贝叶斯估计、最大后验概率机器学习中导数最优化方法(基础篇)常见算法优缺点1.朴素贝叶斯朴素贝叶斯属于生成式模型(关于生
2016-12-15 19:51:43
635
原创 Mac 安装 xgboost
Mac 安装 xgboost1、升级brew由于把Mac升级到10.12后，brew没有更新，我在更新brew的时候发现几个坑，现分析一下。不要直接使用 brew update 更新brew，会报错。使用 brew upgrade 进行软件更新，在更新其他软件的同时会主动更新brew。2、安装最新版本的gccbrew install gcc --without-multilib 注意：如果部升级 b
2016-12-15 18:24:45
3878
原创 Hbase 协处理器 Coprocessor
Hbase 协处理器 CoprocessorCoprocessor简介HBase 是一款基于 Hadoop 的 key-value 数据库，它提供了对 HDFS 上数据的高效随机读写服务，完美地填补了 Hadoop MapReduce 仅适于批处理的缺陷，利用协处理器，用户可以编写运行在 HBase Server 端的代码。HBase 支持两种类型的协处理器，Endpoint 和 Observer。
2016-08-22 21:58:28
5158
原创 企业级HBase搭建
企业级HBase搭建HBase介绍这部分请参考我的博文：Hadoop数据存储企业级HBase参数配置设置linux系统最大进程数和最大文件打开数使用root用户设置，完成需要重新登录。vim /etc/security/limits.confroot soft nproc 50000root hard nproc 50000root soft nofile
2016-08-15 13:04:51
779
原创 配置Hadoop2.xx的高可用（Hadoop2.0 HA）
配置Hadoop2.xx的高可用（Hadoop2.0 HA）在Hadoop2.0以前，由于只有一个NameNode，存在单点故障的问题；在Hadoop2.0中的HA解决了该问题。hadoop2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个NameNode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个Na
2016-08-14 19:55:40
462
原创 HBase自定义过滤器
HBase自定义过滤器由于HBase内置的过滤器的过滤规则不是特别严谨（在HBase-0.90之前时），所以使用hbase的自定义过滤器。package com.hbase;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import java.util.ArrayList;import ja
2016-08-13 07:36:35
2403
原创 HBase使用Put插入数据
HBase使用Put插入数据package com.hbase;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration
2016-08-06 23:31:00
11158
原创 使用eclipse编写HBase的增删改查
使用eclipse编写HBase的增删改查HBase提供了java api来对HBase进行一系列的管理涉及到对表的管理、数据的操作等。常用的API操作有：1、 对表的创建、删除、显示及修改可以用HBaseAdmin，当创建了表，可以通过HTable的实例来访问表。2、 插入数据创建一个Put对象，在这个Put对象里可以指定要给哪个列增加数据，以及当前的时间戳等值，然后通过调用HTable.put(
2016-08-03 22:38:51
1932
原创 centos7搭建hadoop2.7.2完全分布式集群
centos7搭建hadoop2.7.2完全分布式集群我之前使用的是centos6.8安装hadoop2.7.2，但报错如下：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable.是由于缺少hadoo
2016-08-02 14:09:44
2912
原创 CENT OS 7初体验
CENT OS 7初体验今天体验了一下cent os 7.2（最小化安装），感觉就是安装界面变化太大，还增加了安装界面添加用户。。。。不信？上图：心里有点高兴，但是，烧年，表高兴台早。果然不祥的感觉迎面扑来了，我用centos主要是安装并使用hadoop，所以要设置静态IP（这是杯具的开始）。先上图：对，你没有看错，网卡名不是eth0了，变为了enxxxxxx的模样。而且里面的坑很多，来一发吧！当你
2016-08-02 09:09:31
6351
原创 YARN
YARNApache YARN(Yet Another Resource Negotiator) 是Hadoop集群的资源管理系统。YARN为应用使用提供请求集群资源的API，对使用者而言，这些分布式计算框架的细节被YARN的资源管理所隐藏。下图展示的是分布式计算框架（MapReduce，spark等）运行在集群计算层（YARN）和集群存储层（HDFS，HBase）上。其中pig，hive等是调用M
2016-07-23 16:59:33
390
原创 Mac OS安装maven
Mac OS安装maven不在解释maven能干什么，为什么用？直接上安装教程。1、下载maven 3.3.9，版本：apache-maven-3.3.9-bin.tar2、解压 tar -xvf apache-maven-3.3.9-bin.tar 二进制包文件。移动解压后的文件到 mv maven-3.3.9 /usr/local/ 下，我个人为解压后的包改名为maven-3.3.9如图：3、配
2016-07-03 10:24:29
497
原创 互联网技术学习中的一些资源总结
互联网技术学习中的一些资源总结Hadoop在大数据世界里的地位毋庸置疑，总结一下一些学习资源。当然还有一些java、python等等。IT电子书下载：只有英文版哦http://it-ebooks.infoHadoop准备工作YARN介绍Yarn from HortonworksYarn from IBM developerworksHadoop 生态系统Hadoop Ecosystem at a G
2016-06-05 18:56:15
807
原创 Hadoop组件之MapReduce框架
Hadoop组件之MapReduce框架此处的介绍不是书上的抄写，只作理解为主，所以请谅解语言用词的精确性。而且不可能用一篇文章就学会MapReduce 框架，仅作为引导。认识MapReduceMapReduce是一种编程模型，用于大规模数据集的离线式并行运算。关于实时计算用storm和spark，后面会介绍。"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来
2016-06-04 18:34:48
1479
原创 MapReduce连接Hbase时报错及处理
MapReduce连接Hbase时报错及处理我的Map class如下：package com.hbasepackage;import java.io.IOException;import org.apache.hadoop.hbase.client.Result;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.
2016-06-02 13:48:35
3135
1
原创 Hadoop组件之Hive
Hadoop组件之HiveHive 是一个构建在Hadoop上的数据仓库框架，是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展。Hive设计的目的是让精通sql技能但java编程技能相对较弱的分析师能够对Facebook存放在HDFS中的大规模数据集执行查询。Hive简介Hive提供了基于SQL的接口，即Hive查询语言(HiveQL)，能够将查询语言转换成Ja
2016-06-01 14:58:45
489
原创 Hadoop数据存储
Hadoop数据存储Hadoop能高效处理数据的基础是有其数据存储模型做支撑，典型的是Hadoop的分布式文件系统HDFS和HBase。一、HDFS文件系统1.0、 HDFS简介HDFS是Hadoop的分布式文件系统的实现，它设计的目的是存储海量的数据，并为分布式在网络中的大量客户端提供数据访问。想成功的使用HDFS，就要其实现方式及工作原理。1.1、HDFS架构HDFS的设计思想基于Google
2016-05-24 22:49:24
14200
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人