yalongwan01的专栏

原创 SparkSQL参数配置指南

--num-executors 设置任务executor个数，默认值为4，一般调整此参数需要同时调整并行度（参考4）。任务设置executor个数的依据是业务期望任务运行时间，可以先设置一个较小值，通过调整此参数及并行度直到运行时间达到期望。 --executor-cores 设置单个executor的core数，默认为1，建议不要超过2。任务申请的总core数为executor个数*单个e...

原创 特征工程

原创 机器学习模型评估

原创 数据预处理

原创 机器学习树模型

原创 thrift安装

第一部分：安装1. 下载源码包wget http://apache.fayea.com/thrift/0.9.3/thrift-0.9.3.tar.gz解压安装包tar -zxvf thrift-0.9.3.tar.gz2. 安装依赖工具yum -y install openssl openssl-devel gcc gcc-c++ boost-devel-static aut...

原创 CentOS 7 MySql&Hive 1.2.2安装

第一部分：MySql安装        1. 下载mysql的repo源        wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm        安装mysql-community-release-el7-5.noarch.rpm包        sudo rpm -ivh mysql-comm...

原创 CentOS6.5自带python版本(2.6.6)执行网络爬虫错误提示ImportError: No module named requests及python升级相关问题汇总

问题描述：作为一枚python小白，看完《简明 Python 教程》之后，在网上找了份爬虫代码，当执行时代码时，遇到ImportError: No module named requests，之后对python进行升级，为了能够用上requests。遇到一系列问题。问题如下：1. ImportError: No module named requests（python 2.6.6）;2. zipi...