qq_38534715的博客

原创 spark数据倾斜处理

调优概述      有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是

转载 Spark调优（开发）

开发调优调优概述Spark性能优化的第一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中，时时刻刻都应该注意以上原则，并将这些原则根据具体的业务以及实际的应用场景，灵活地运用到自己的Spark作业中。原则一：避免创

原创 spark算子总汇

原创 安装python出错或者需要安装多个版本出错

1.去官网下载好版本（32位和64不同）2.安装过程中不要选择pip，×掉pip，安装完成后执行第三步。3.配置好python的环境变量。（命令窗口中输入python出现版本好并进入shell算成功）3.安装python安装easyinstall下载网址https://pypi.python.org/pypi/setuptools选中解压文件，并进入解压好的文件右键+s

原创 怎么装easy_install

1.为什么要装easy_install? 正常情况下，我们要给Python安装第三方的扩展包，我们必须下载压缩包，解压缩到一个目录，然后命令行或者终端打开这个目录，然后执行 python setup.py install 来进行安装。 这样是不是很繁琐呢？如果我们直接命令行执行 easy_install Twisted 就把最新版的Twisted包装上去了，是不是很爽呢？

原创 python中pip安装出现is not a support wheel on is platform问题的解决

输入命令时：pip install d:/numpy-1.9.2+mkl-cp27-none-win_amd64.whl报错：numpy-1.9.2+mkl-cp27-none-win_amd64.whl  is not a support wheel on is platform 解决：1.先检查安装的是否和python版本一致cp27代表python2.7.*版本的python，操作系

原创 linux安装jdk方法

ws

原创 python编写spark的配置

前提：安装好python下载好spark压缩包：eclipse中配置好python将spark中spark-1.6.0-bin-hadoop2.6\python\pyspark文件复制到Python的lib文件下，在python安装目录下有个文件夹Scripts在Scripts下(shift+右键)选择打开命令窗口输入：pip.exe install py4j

原创 eclipse中安装python插件

编辑器: Eclipse + pydev插件1. Eclipse是写JAVA的IDE， 这样就可以通用了,学习代价小。  学会了Eclipse, 以后写Python或者JAVA 都可以。2. Eclipse, 功能强大。3. Eclipse跨平台， 可以在Mac上和Windows运行 安装Python下载地址：http://www.python.or

原创 linux中安装hive

将MySQL的连接依赖包放到hive中的lib目录下mysql-connector-java-5.1.32-bin.jar将hadoop文件下/share/hadoop/yarn/lib中的jline-2.12.jar包和hive中lib下的jline-2.12.jar版本一致分发一份到客户端节点修改环境变量创建服务器配置 文件 hive/conf/hive-site.xml：

原创 linux下配置挂载本地yum云

下载好镜像文件挂载命令：mount /dev/cdrom /mnt修改/etc/yum.repos.d/下的文件CentOS-Base.repo文件，修改为[base]name=CentOS-$releasever - Base#mirrorlist=http://mirrorlist.centos.org/?release=$releasever&arch=$ba

原创 linux中mysql的安装

yum云下安装mysql(最好挂在本地yum云)yum install mysql-server -y启动mysqlservice mysqld start设置mysql开机自启chkconfig mysqld on查看mysql开机自启状态chkconfig mysqld --list通过mysql命令连接数据库mysql执行以下命