Hadoop进阶（hadoop streaming c++实现 & MapReduce参数调优）

目录：

1，机器学习 & MR

Hadoop进阶（hadoop streaming c++实现 & MapReduce参数调优）

hadoop streaming （shell执行 & combiner & 数据分割）

hadoop streaming python 处理 lzo 文件遇到的问题

spark安装与调试

推荐算法之Jaccard相似度与Consine相似度

LibLinear使用总结

深度学习在推荐领域的应用 

2，tensorflow 安转与使用

Tersorflow深度学习入门—— CIFAR-10 训练示例报错及解决方案

tensorflow 之 bazel安装 & 使用

Python的库sklearn安装 & bazel安装 & cmake

TF（tensorflow）安装之python

GBDT 之 Boosting方法

GBDT安装（xgboost LightGBM）,

3，工具安装

linux export 环境变量设置   

urlencode & quote & unquote (url 中带中文参数)  

linux crontab -e报错

configure --prefix=/ & yum install 路径

rethat / CentOS环境配置

redis 值 hiredis (c/c++)

一、hadoop streaming c++实现 心得：

  1, Hadoop Streaming 实战： c++编写map&reduce程序,与python写的map&reduce完全一致

  2，c/cpp需要事先编译成可执行文件，-file的是-o文件,其它的例如run_hadoop.sh 的写法完全和python一致  

  3，cat wc.data | ./mapper  | sort | ./reducer  

  4, 总之，hadoopstreaming 存在一致性, 核心是根据需求 如何书写map&red的实现，以及选择何种语言的问题  

  5, 例子：mapper 是c程序， reducer是python。。  

    ##time cat