2016年12月_半湖思絮

12月 11月 09月 08月

原创 Spark关于Java的RDD操作

在之前的文章中Spark的demo对RDD的简单操作，通过学习《Spark快速大数据分析》，记录一下对RDD的详细操作1.转化操作map我们可以使用map()来做各种各样的事情：可以把我们的URL集合中的每个URL对应的主机名提取出来，也可以简单到只对各个数字求平方值。map()的返回值类型不需要和输入类型一样。这样如果有一个字符串RDD

2016-12-27 17:14:58 1094

Spark关于Java的RDD操作

2016-12-27 17:14:00 267

原创 Spark在Eclipse运行的demo

刚接触Spark，很多还都不是太懂，查看了别人写的中文API：Spark中文文档根据里面的参数写了一个最简单的调用，如果maven已配好的话，可以直接运行 org.apache.spark spark-core_2.10 1.5.2 org.apache.spark spark-sql_2.10 1.5.2 org.apache.hadoop hadoop-cli

2016-12-26 11:49:22 1065

Spark在Eclipse运行的demo

刚接触Spark，很多还都不是太懂，查看了别人写的中文API：Spark中文文档根据里面的参数写了一个最简单的调用，如果maven已配好的话，可以直接运行<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId&...

2016-12-26 11:49:00 175

转载 MySQL优化

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num is null 可以在num上设置默认值0，确保表中

2016-12-12 17:00:25 295

MySQL优化

1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中使用!=或<>操作符，否则将引擎放弃使用索引而进行全表扫描。 3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如： select id from t where num ...

2016-12-12 17:00:00 57

原创 mysql union all与子查询结合效率对比

SELECT * FROM baidu_day_2014_1 WHERE account = 'xxx'UNION ALLSELECT * FROM baidu_day_2014_2 WHERE account = 'xxx'UNION ALLSELECT * FROM baidu_day_2014_3 WHERE account = 'xxx'UNION ALLSE

2016-12-02 18:04:09 6108 1

mysql union all与子查询结合效率对比

SELECT * FROM baidu_day_2014_1 WHERE account = 'xxx'UNION ALLSELECT * FROM baidu_day_2014_2 WHERE account = 'xxx'UNION ALLSELECT * FROM baidu_day_2014_3 WHERE account = 'xxx'UNION ALLSELEC...

2016-12-02 18:04:00 662 1

原创 JFinal定时任务的配置

最近在使用JFinal的框架，之前使用spring框架，直接在配置文件配置下就可以了。所以从网上找了相关例子，整理了一下1.建一个配置文件job.properties，用作定时配置job=com.demo.job.JobAcron=* * 2 * * ?enable=true上面是一个定时任务，如果需要多个，从后面展示的定时读取可知，这么配置一下就可以了bjob=com.de

2016-12-02 14:30:41 8547 7