2016年03月_wuzhilon88

09月 07月 03月 02月

原创 hivemeta、sparkSubmit进程参数优化

1、对hive参数优化优化 hivemeta进程和sparksubmit进程修改hive-env.sh添加 vi hive/conf/hive-env.shexport HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx4096m -Xms1024m -XX:MaxHeapFreeRatio=40 -XX:

2016-03-14 20:05:46 1254

原创 hadoop namenode进程参数调整

修改hadoop-env.sh添加 vi $HADOOP_HOME/conf/hadoop-env.shexport HADOOP_NAMENODE_OPTS="-Xmx16384m -Xms4096m -Xmn2048m -verbose:gc -Xloggc:/usr/local/fqlhadoop/logs/hdfs/namenode.gc.log -XX:E

2016-03-14 20:02:15 4613

原创 spark sql 1.6.0 自定义永久函数

spark sql 1.5.0 也支持Spark(Hive) SQL中UDF的使用相对于使用MapReduce或者Spark Application的方式进行数据分析，使用Hive SQL或Spark SQL能为我们省去不少的代码工作量，而Hive SQL或Spark SQL本身内置的各类UDF也为我们的数据处理提供了不少便利的工具，当这些内置的UDF不能满足于我们的需要时

2016-03-14 19:58:34 4806

原创 ERROR YarnScheduler: Lost executor

执行脚本出现：15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 8 on myhost1.com: remote Rpc client disassociated15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 6 on myhost2.com:

2016-03-09 15:24:13 13528 2

Mac版JProfiler+JVM性能调优工具资源在百度网盘

不错的工具，供大家使用

2024-05-03

TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从 1G~3T 不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间.TPC-H 基准测试的度量单位是每小时执行的查询数( QphH@size)，其中 H 表示每小时系统执行复杂查询的平均次数，size 表示数据库规模的大小,它能够反映出系统在处理查询时的能力.TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数.总而言之,TPC 组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限

2015-11-13

MySQL驱动包

非常棒的驱动包，对你来说在开发中时不可的。

2012-08-12

java 图书馆管理系统网络编程

关于java图书管理系统建立数据库上的编程.

2011-11-10

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

wuzhilon88的专栏

原创 hivemeta、sparkSubmit进程参数优化

原创 hadoop namenode进程参数调整

原创 spark sql 1.6.0 自定义永久函数

原创 ERROR YarnScheduler: Lost executor

Mac版JProfiler+JVM性能调优工具资源在百度网盘

sql-parser-master.zip

tpch_2_14_3

MySQL驱动包

java 图书馆管理系统网络编程

空空如也

原创 hivemeta、sparkSubmit进程参数优化

原创 hadoop namenode进程参数调整

原创 spark sql 1.6.0 自定义永久函数

原创 ERROR YarnScheduler: Lost executor

Mac版JProfiler+JVM性能调优工具 资源在百度网盘

sql-parser-master.zip

tpch_2_14_3

MySQL驱动包

java 图书馆管理系统 网络编程

空空如也

Mac版JProfiler+JVM性能调优工具资源在百度网盘

java 图书馆管理系统网络编程