- 博客(6)
- 收藏
- 关注
RSS订阅转载 神经网络
先从回归(Regression)问题说起。我在本吧已经看到不少人提到如果想实现强AI，就必须让机器学会观察并总结规律的言论。具体地说，要让机器观察什么是圆的，什么是方的，区分各种颜色和形状，然后根据这些特征对某种事物进行分类或预测。其实这就是回归问题。 如何解决回归问题？我们用眼睛看到某样...
2018-01-30 18:43:00
141
转载 Yarn配置
作为HDP 2.0 Beta的一部分，YARN采用MapReduce中的资源管理功能，并将它们打包，以便新引擎可以使用它们。 这也简化了MapReduce做它做的最好的处理数据。 使用YARN，您现在可以在Hadoop中运行多个应用程序，所有这些应用程序共享一个公共资源管理。 在本...
2016-10-13 20:25:00
175
转载 Flume产生小文件的处理方式
1. Flume写入到HDFS产生很多小文件，如果不处理这些小文件，hive读取的时候会报以下错误： Caused by: java.io.IOException: Cannot obtain block length for LocatedBlock{BP-2182603-172.16.1...
2016-10-13 20:06:00
762
转载 头疼的heart beat
1. 场景分析： 从业务DB mysql 导入到hive， 如果Mysql单表的数据量过大，Sqoop会长时间处于heart beat（心跳）状态。 原因： sqoop先执行默认的boundary-query操作， 获取Mysql表中ID的最大和最小值，为后续切片使用。 SELECT MI...
2016-10-13 19:55:00
164
转载 sqoop --query \$CONDITIONS HUE执行失败
1. HUE sqoop命令框中直接输入： sqoop-import --connect jdbc:mysql://ip地址:端口/数据库--username 用户名--password 密码--query select * from 表名where 1=1 and \$CONDIT...
2016-09-11 15:43:00
692
转载 HUE 安装与配置
HUE 安装与配置 1. HUE下载：http://cloudera.github.io/hue/docs-3.0.0/manual.html#_hadoop_configuration 2. 安装HUE相关依赖（root下） Redhat Ubun...
2016-09-10 13:46:00
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人