spark并行度(parallelism)和分区(partition)未生效的问题 spark的并行度对spark的性能是又很大的影响的，spark任务能快速计算主要就是因为内存计算和并行计算。对于并行计算，我们就要涉及到并行度的问题，那并行度跟什么有关系呢？
Spark通过jdbc性能调优--采用分区的方式从oracle读数据 采用ROWID的最后一位的ASCII码对20进行取模，得到的模是0-19之间的，这样就可以将这个值作为分区键，每条数据记录将会划分到固定的分区。因为分区数是20，所以在oracle数据里面就会生成20条SQL，每条sql又一个excutor取读取。常规jdbc读取表的时候只有一个分区在执行，也就是只有一个excutor在工作，没有把spark并行操作的特性发挥出来。通过查阅sparksql官方文档，查阅到如下的jdbc操作数据库的连接属性。所以我们可以采取上表中所示的分区读表的方式来优化这个问题。
Git使用笔记 1. Git新拉分支开发，开发完成再合并打开项目新建一个自己的分支用于开发选择要开发的分支 ，等于是复制该分支（一般命名规则是"原分支-子分支名"）将上面建的分支拉倒本地进行开发，开发完成后进行合并，将新开发的合并到原分支上...
mysql批量删除表 mysql批量删除表查询构建所有的删除语句SELECT CONCAT('drop table ',table_name,';')FROM information_schema.TABLESWHERE table_name LIKE 'fine_%';复制查出来的删除sql语句，并批量执行drop table QRTZ_BLOB_TRIGGERS;drop table QRTZ_CALENDARS;drop table QRTZ_CRON_TRIGGERS;drop table
MySQL批量插入数据 ON DUPLICATE KEY UPDATE INSERT INTO … ON DUPLICATE KEY UPDATE向student表中插入学生信息，如果student表已经存在该id，那么就将该id对应姓名更新；如果不存在该id，那么插入新的一行记录；insert into student(id,name) values(3,'kobe'),(4,'Curry') ON DUPLICATE KEY UPDATE name=values(name)insert into student(id,name) select id,name
FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask FAILED: Execution Error, return code 137 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTaskFAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask# java.lang.OutOfMemoryError: Java heap space# -XX:OnOutOfMemoryE
Linux系统Redis安装详解 1，下载安装包下载地址：http://download.redis.io/releases/redis-3.0.4.tar.gz直接点击连接即可进行下载2、安装1.下载好安装包之后，将安装包上传至Linux指定目录下、：/opt/softwawre/tempRedis2.由于redis是由C语言编写的，它的运行需要C环境，因此我们需要先安装gcc。安装命令如下：[root@hadoop100 software]# yum install -y gcc3.解压安装包[root@no
SparkStream详解 SparkStream1、项目实例，从linux传输数据2、使用sparkStream读取kafka的数据，进行处理，再写回kafka1、项目实例，从linux传输数据新建maven项目，并导入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version&g
azkaban的安装、配置与使用详解 azkaban的安装、配置与使用1、下载安装包并编译2、MySQL创建azkaban数据库和用户3、配置azkaban-exec4、配置azkaban-web1、下载安装包并编译1.下载如下软件安装包，上传至虚拟机并解压gradle-5.6.3-all.zipazkaban-3.84.10.tar.gz tmp[root@hadoop100 software]# tar -zxvf azkaban-3.84.10.tar.gz[root@hadoop100 software]# unzip g
wget安装MySQL（5.6和5.7超详细版） wget安装MySQLwget的安装与使用安装wget：yum -y install wget检查是否安装成功：rpm -qa|grep "wget"MySQL安装1.下载mysql源安装包：wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm2.安装mysql源：yum localinstall mysql57-community-release-el7-8.noarch.rpm3.检查mysql源
关注
