2015年12月_mishidemudong

12月 11月 10月 09月 08月 07月 06月 05月

转载 Scala之数据结构-数组

Scala中提供了一种数据结构-数组，其中存储相同类型的元素的固定大小的连续集合。数组用于存储数据的集合，但它往往是更加有用认为数组作为相同类型的变量的集合。取替声明单个变量，如number0, number1, ..., 和number99，声明一个数组变量，如号码和使用numbers[0]，numbers[1]，...，numbers[99]表示单个变量。本教程介绍了如何声明数组变量，

2015-12-29 10:30:50 734

原创特征选择的方法

特征选择的方法大致可分为如下几类：1. 投影法：求出最优的投影向量w，绝对值较大的分量对应的特征即所选特征。求解w的方法很多，像LDA，linear SVM，Lasso regression，Sparse coding等都是适用的方法。2. Wrapper：使得特征子集上的分类错误率最小。3. Filter：对单个特征根据特定准则进行排序（如熵增益，分类错误率等），再选出其中排序较高、

2015-12-29 08:58:23 716

转载如何成为数据科学家

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：36大数据链接：https://www.zhihu.com/question/24855616/answer/29650667来源：知乎大数据时代，做大数据分析人员有了一个更性感的名字，叫做数据科学家。先说一个段子：一个有意思的笑话，我一哥们，以前是做数据分析的，每天很苦逼的做各种分析，拿几千

2015-12-28 21:03:07 3595 1

原创 Sqoop导出数据到MYSQL问题

2015-12-28 11:09:19,403 INFO [Thread-12] org.apache.sqoop.mapreduce.AutoProgressMapper: Auto-progress thread is finished. keepGoing=false2015-12-28 11:09:19,484 ERROR [Thread-11] org.apache.sqoop.map

2015-12-28 15:17:17 4579

转载 Sqoop原理介绍

一简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。二特点Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。

2015-12-28 10:26:35 1894

原创 SPARK connector 接口程序

package com.szl.miner.api.connector;import org.apache.hadoop.conf.Configuration;/** * Created by liao on 15-5-4. */public interface SparkConnector extends ClosableConnector { /** * 指定

2015-12-28 10:25:01 1210

转载 Alex 的 Hadoop 菜鸟教程: 第12课 Sqoop1 安装/导入/导出教程

原帖地址： http://blog.csdn.net/nsrainbow/article/details/41575807Sqoop是什么sqoop是用于在传统关系型数据库跟hdfs之间进行数据导入导出的工具。目前sqoop已经出了2，但是截至当前，sqoop2还是个半成品，不支持hbase，功能还很少，所以我还是主要讲sqoop1安装Sqoop1

2015-12-28 09:53:23 1532

转载 sqoop 从 hive 导到mysql遇到的问题

2015-12-28 09:50:22 880

原创 ICloudOperator 执行过程分析

Operator 执行过程分析算子执行过程：WorkflowExecutor执行到算子调用部分时，会调用executeOperatoroperatorTaskId = operatorService.executeOperator(workflow.getWorkflowRunningId() + "-" + operator.getOperatorId(),

2015-12-27 20:03:39 705

转载 Hive中的三种不同的数据导出方式介绍

问题导读：1.导出本地文件系统和hdfs文件系统区别是什么？2.带有local命令是指导出本地还是hdfs文件系统？3.hive中，使用的insert与传统数据库insert的区别是什么？4.导出数据如何自定义分隔符？今天我们再谈谈Hive中的三种不同的数据导出方式。根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导

2015-12-27 16:26:08 662

原创 sqoop导入导出数据库文件

3 导入导出数据库 1)列出mysql数据库中的所有数据库命令 # sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456 2)连接mysql并列出数据库中的表命令 # sqoop list-tables --connect

2015-12-27 14:18:24 963

原创 CommunicationsException: Communications link failure

CommunicationsException: Communications link failureI'm quoting from this answer which also contains a step-by-step MySQL+JDBC tutorial:If you get a SQLException: Connection refused or Conn

2015-12-27 13:33:30 868

转载 sqoop常用命令

问题导读1.sqoop是否支持复杂语句2.sqoop如果存在就更新，不存在就插入，这是什么模式？这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。 1.使用sqoop导入数据　　sqoop import --connect j

2015-12-25 17:17:57 587

原创查看mysql基本信息

关于如何查看mysql版本：方法一：进入mysql cmd，[cpp] view plaincopystatus; 将显示当前mysql的version的各种信息。方法二：还是在mysql的cmd下，输入：[cpp] view plaincopy

2015-12-25 09:42:43 1324

转载 Spark中文手册9：spark GraphX编程指南（2）

问题导读1.GraphX提供了几种方式从RDD或者磁盘上的顶点和边集合构造图?2.PageRank算法在图中发挥什么作用？3.三角形计数算法的作用是什么？Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精

2015-12-15 17:11:37 1779

转载 Spark中文手册8：spark GraphX编程指南（1）

1.什么是GraphX？2.如何将Spark和GraphX引入到项目中？3.从一个图中取出顶点特征加入到另外一个图中如何实现？Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精通Spark-sql由入门到精通续

2015-12-15 17:03:58 1378

转载理解EM算法

写在前面EM（Expectation Maximization 期望最大化）算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。其每次迭代由E、M两步构成。下面首先给出一般EM算法的求解过程（怎么做），然后结合一个例子来理解，然后讲为什么这么求解，即推导，最后讲述EM算法在高斯混合模型中的应用及小结。EM算法

2015-12-11 09:33:07 847

转载 Graphx:构建graph和聚合消息

Graphx:构建graph和聚合消息@玄畅2014.12.29About最近在优化kcore算法时，对Graphx代码看了几遍。1.2后Graphx性能有所提升，代码不太容易理解，现在用图表示出来会更直观。对数学上的图有点印象的是x轴、y轴坐标图，坐标中每个点用横坐标x和纵坐标y表示，即: (x1, y1), (x2, y2), 一个坐标点可以确定一个点的唯一

2015-12-06 13:14:29 1167