other
余建新-18588497759
这个作者很懒,什么都没留下…
展开
-
临时记录1
记录原创 2023-09-25 04:36:18 · 65 阅读 · 0 评论 -
docker 记录
docker run -d \-p 3000:3000 \--name=grafana \-e "GF_INSTALL_PLUGINS=grafana-piechart-panel" \grafana/grafanadocker: Error response from daemon: Conflict. The container name "/grafana" is already in use by container "c987a761fe7321d21aaa72c458bfe5376原创 2020-09-10 11:16:58 · 138 阅读 · 0 评论 -
大数据基准测试 TPC-H、TPC-DS
大数据框架,多支持SQL on模式,如何测试?可参考使用TPC-H、TPC-DS。TPC-DS测试基准是TPC组织推出的用于替代TPC-H的下一代决策支持系统(OLAP)测试基准。参考:http://www.csdn.net/article/2015-05-14/2824680原创 2016-10-21 10:10:13 · 3442 阅读 · 0 评论 -
大数据平台--存储方向
大数据平台方向,核实是计算和存储,下面是百度马如悦分享中提到的内容:还有时间序列存储,OpenTSDB等。原创 2016-10-25 07:40:05 · 854 阅读 · 0 评论 -
IDEA设置主题
设置后:原创 2016-10-27 12:22:06 · 6279 阅读 · 0 评论 -
开源大数据框架的SQL化
大数据框架,在易用性方面,都尽量SQL化,如:HBase之上的Phoenix、FackbookHive、Spark SQL、FackbookPresto、Cloudera Impala、Kylin、ES SQL、Crate。问题1,大数据框架SQL化,大致分为了几个部分?SQL解析引擎、SQL执行引擎问题2,SQL解析引擎有哪些?Antlr、Calc原创 2016-11-08 09:49:40 · 890 阅读 · 0 评论 -
数据团队的价值
以满足业务需求为导向,以解决问题为目的。大数据开源框架,不论是存储型Hadoop、HBase,计算型Spark Streaming、Storm,查询型Hive、Spark SQL、Kylin,都是工具。做大数据平台,就是提供好服务工具。无监控不服务,无备份不存储。数据平台是工具支撑,数据仓库是整理数据,数据开发是满足业务方看数据,数据分析挖掘才是数据的核心价值,数据或数据团队的最终价值原创 2016-11-05 15:20:55 · 933 阅读 · 0 评论 -
nmon集群资源使用情况 监控工具
原创 2016-10-23 18:15:21 · 1098 阅读 · 0 评论 -
和社区的issue交流
Kylinhttps://issues.apache.org/jira/browse/KYLIN-1942https://issues.apache.org/jira/browse/KYLIN-1933HBase原创 2016-09-27 14:45:51 · 612 阅读 · 0 评论 -
SDCC 2016架构峰会(杭州站)
原创 2016-09-27 10:09:21 · 492 阅读 · 0 评论 -
Netty-1
一、介绍Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具,用以快速开发高性能、高可靠性的网络服务器和客户端程序。二、原创 2015-04-22 23:34:43 · 498 阅读 · 0 评论 -
Jetty-1
一、介绍Jetty是一个开源的Servlet容器,它为基于Java的web容器,为JSP和servlet提供运行环境。二、实例JettyServerpackage cn.yjx.jetty.jettyServer;import org.mortbay.jetty.Server;import org.mortbay.jetty.servlet.ServletHo原创 2015-04-25 19:48:35 · 582 阅读 · 0 评论 -
大数据-计算引擎
摘自 3-1-阿里巴巴实时计算平台 JStorm Turbo-封仲淹(纪君祥).pdf原创 2016-08-18 11:42:11 · 893 阅读 · 0 评论 -
个人CSDN每月博文数量
原创 2016-08-27 17:21:59 · 572 阅读 · 0 评论 -
工具--visio
1、原创 2016-11-29 17:34:51 · 576 阅读 · 0 评论 -
开源协议
(2)使用开源代码必须遵循相应的开源协议。如果不遵循开源协议,则可能产生违约的法律风险。 A 传染型 ——最典型的就是GNU通用公共许可证(简称GPL协议),一旦使用GPL协议下的开源代码,需要开放产品所有的源代码。一般来说,商业行为是排斥全部公开源代码行为的。如果使用了GPL代码,则会导致产品源代码全部公开。如果不全部公布,则会产生法律风险。因此,使用传染型的开源代码给商业产品原创 2016-12-15 22:49:22 · 610 阅读 · 0 评论 -
记录
P1Y 1年P1M 1月P1D 1天PT1H 1小时PT1M 1分钟PT60S 1分钟 https://en.wikipedia.org/wiki/ISO_8601#Durations 【代码规范参考】https://bookkeeper.apache.org/community/coding_guide/...原创 2018-09-14 16:40:46 · 419 阅读 · 0 评论 -
201802
201802原创 2018-02-28 15:34:39 · 929 阅读 · 0 评论 -
中国数据库40年历史
http://news.mydrivers.com/1/548/548130.htmhttp://tech.sina.com.cn/roll/2017-08-08/doc-ifyitayr9728174.shtml转载 2017-10-12 13:25:09 · 638 阅读 · 0 评论 -
数据库排名
https://db-engines.com/en/ranking原创 2017-08-25 12:13:37 · 628 阅读 · 0 评论 -
存储性能测试报告(参考模板)
## 1.1 百度Palo对决ClickHouse,谁快?https://mp.weixin.qq.com/s/9sZswZve24xG5EF5Yx32sQ## 1.2 HBase测试## 1.3 链家大数据多维分析引擎实践https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653549008&idx=1&sn=7187395715959ed4714b0cff7f39acad&chksm=813a60.原创 2017-09-24 23:26:28 · 2119 阅读 · 0 评论 -
apidoc生成resuful文档
步骤:1. 安装node环境2. 安装apidocnpm install apidoc -g3. 执行生成文档命令命令格式为apidoc -i 项目实际目录 -o 希望输出到的目录例如apidoc -i D:\workspace\test -o D:\api-outputapidoc -i ./open_pizza -o ./open_pizza/doc参考原创 2017-09-09 00:06:52 · 505 阅读 · 0 评论 -
人才的评价标准
原创 2017-07-23 23:02:24 · 1124 阅读 · 0 评论 -
markdown 语法
原创 2017-04-07 10:51:00 · 568 阅读 · 0 评论 -
linux 不同压缩
gzip gzip makeDataToJsonFile_1.txtnohup gzip makeDataToJsonFile_1000000000.txt 2>&1 &gzip -d makeDataToJsonFile_1.txt.gz原创 2017-02-27 15:51:25 · 418 阅读 · 0 评论 -
压力测试工具
http://www.devcurry.com/2010/07/10-free-tools-to-loadstress-test-your.html原创 2017-02-10 18:23:24 · 609 阅读 · 0 评论 -
IDEA工具使用
https://www.jetbrains.com/help/idea/15.0/eclipse.html#d305158e119https://my.oschina.net/pengzai/blog/129954原创 2017-01-13 18:43:09 · 507 阅读 · 0 评论 -
PHP-1-PHP问题总结
一、问题一xampp-linux-x64-1.8.3-4-installer.run方式部署PHP开发环境前已安装过MySQL,可卸载掉以前的MySQL,防止对xampp-linux-x64-1.8.3-4-installer.run中安装的MySQL产生干扰。具体步骤:rpm -qa | grep -i mysqlrpm -e MySQL-server-5.5.28-1.el6.原创 2015-05-08 19:48:23 · 572 阅读 · 0 评论 -
eBay Kylin
原创 2016-03-08 09:31:23 · 487 阅读 · 0 评论 -
大数据架构及流处理架构
一、大数据架构二、流处理架构说明:参考文档:《Gearpump 基于Akka的新一代流处理引擎》转载 2015-07-08 13:50:19 · 1567 阅读 · 0 评论 -
Kettle-1-安装配置
写在前面一:数据仓库ETL工具有很多,基于大数据环境下的分析,Hive用的多些。本文介绍国外的 一款开源ETL工具——Kettle。写在前面二:所用软件说明:一、什么是KettleKettle是一款国外开源的ETL工具,纯java编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transf原创 2014-06-21 15:39:47 · 1966 阅读 · 0 评论 -
PHP-2-使用-测试PHP连接PostgreSQL
<?php $host = "host=172.16.17.30"; $port = "port=5435"; $dbname = "dbname=test_fb"; $credentials = "user=fusionbase password="; $db = pg_connect( "$host $port $dbnam原创 2015-06-09 15:28:23 · 810 阅读 · 0 评论 -
Logstash-1
Logstash是一个开源的日志管理工具。日志文件监控利器。http://logstash.net/https://www.elastic.co/products/logstashhttp://blog.csdn.net/hljlzc2007/article/details/17392815 (日志文件监控利器 - logstash)http://blog.cs转载 2015-06-01 00:48:09 · 586 阅读 · 0 评论 -
Splunk-1
Splunk是一个功能强大的日志管理工具,它不仅可以用多种方式来添加日志,生产图形化报表,最厉害的是它的搜索功能 - 被称为“Google for IT”。Splunk提供一套关键字搜索的规则,利用这套规则可以进行非常精确的搜索。Splunk 是一款顶级的日志分析软件,如果你经常用 grep、awk、sed、sort、uniq、tail、head 来分析日志,那么你需要 Splunk。原创 2015-06-01 00:42:00 · 882 阅读 · 0 评论 -
从百万级别数据的分析角度,Mysql,Mongodb,Hbase如何选择?
------问题:情况说明:现在需要做一个数据存储,500w左右的数据,日后每天大约产生5w条左右的数据。想把这些数据存储起来,供日后的数据分析用?使用上面说的三种数据库中的哪中比较好?是否有必要建立集群?个人看法是:从长远角度看,由于单台机器的性能瓶颈,后期肯定要做集群,单纯的做复制最终也无法缓解单台master上读的负担。因此,使用mysql的话会使用cluser。但是了解到mys转载 2015-06-01 00:13:26 · 2566 阅读 · 0 评论 -
Ganglia安装
一、./configure -prefix=/usr/local/ganglia完成原创 2015-05-28 13:58:11 · 488 阅读 · 0 评论 -
安装PHP开发环境及部署PHP项目
软件版本xampp-linux-x64-1.8.3-4-installer.runwampserver.exe安装说明安装集成包后,相当于安装了PHP、MySQL、Apache。管理命令/opt/lampp/xampp start/opt/lampp/xampp stop项目部署路径/opt/lampp/htdocs 进入MySQL CLI原创 2015-04-01 20:00:26 · 4537 阅读 · 0 评论 -
TCP三次握手/四次挥手详解
一、TCP连接三次握手在TCP/IP协议中,TCP协议提供可靠的连接服务,采用三次握手建立一个连接。详细过程如下:1.1、第一次握手:建立连接时,客户端发送syn包(syn=j)到服务器,并进入SYN_SEND状态,等待服务器确认; 1.2、第二次握手:服务器收到syn包,必须确认客户的SYN(ack=j+1),同时自己也发送一个SYN包(syn=k),即SYN+ACK包,此时转载 2015-04-22 23:18:45 · 571 阅读 · 0 评论 -
2-书籍阅读-20150215
《Netty权威指南》 20150215——2015原创 2015-02-15 01:01:33 · 609 阅读 · 0 评论 -
Oozie-2-安装、配置、使用
一、Maven编译Oozietar -zxvf oozie-4.0.1.tar.gzcd oozie-4.0.1vi pom.xml1.1、修改Java版本1.61.61.2、修改Hadoop版本[root@bigdata3 oozie-4.0.1]# grep -l "2.3.0" `find . -name "pom.xml"`./had原创 2014-12-22 21:25:57 · 2652 阅读 · 0 评论