梁耀荣的博客

原创 各种图

原创 hadoop shuffle详解

自己总结的shuffle流程。 如有不当欢迎指出

原创 天池 IJCAI17《口碑商家客流量预测》回顾

2017天池口碑商家客流量预测队伍名：卡文尼尔 第一赛季排名：191 第二赛季排名：168 成绩：0.0824这次比赛是抱着学习做特征工程的心态来做的，所以整体思路是模型加少许规则。一路做下来发现对于时间序列的预测，最有效果的特征还是它的历史数据。model1将星期与假期哑变量作为特征，前三周为训练集，分别对每个商家用Lasso来预测，成绩可以到0.0847。但若是对每个商家分别建模，样本量太

原创 配置hive

1.下载解压改名https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/2.改路径export HADOOP_HOME=/home/leon/hadoop-1.2.1export HIVE_HOME=/home/leon/hadoop-1.2.1/contrib/hive-1.2.1export PATH=$P

原创 配置ssh免密码登录

1.安装sshsudo apt-get install ssh#若显示依赖错误，先安装所提示的openssh-client对应的版本2.首次登录ssh以创建home下.shhssh localhostexit4.生成密匙cd .ssh                 #若没有该文件夹，先登录一次localhost（步骤2，3）ssh-keygen -t rs

原创 配置hadoop-1.2.1

### 配置文件均在$HADOOP_HOME/conf下##1.在/home下新建hdfs用户,并给予足够权限sudo mkdir hdfssudo chmod -R 777 hdfssudo chown leon hdfs2.core-site.xml （修改hdfs的网络接口和tmp地址。其中tmp地址必须本地化，确保重启后不用格式化hdfs，以保存

原创 均匀分布构造离散型随机变量（以泊松分布为例）python

由均匀分布构造离散型随机变量，以泊松分布为例

原创 均匀分布生成标准正态分布 python

三种由(0,1)均匀分布构造标准正态分布随机变量的方法：Box–Muller算法 ，中心极限定理和Kinderman and Monahan method。

原创 统计拼音字母使用频率 python

python 以《人民日报》为样本来源统计汉字拼音使用频率