guangshuishi-CSDN博客

原创 ogg 进程

ogg一般来说有4个进程，Manager进程，Extract进程，Pump进程，Replicat进程Manager进程：是GoldenGate的控制进程，它主要作用有以下几个方面：启动、监控、重启GoldenGate的其他进程，报告错误及时间，分配数据存储空间，发布阀值报告等。Extract进程：运行在数据库源端，负责从源端数据表或日志中捕获数据。Extract进程...

2018-07-11 18:03:12 620

原创 oracle

ogg命令总结整理stats：查看进程抽取数据情况，用于检测数据丢失问题。info *：用于检测进程读取文件情况信息。info all：查看所有增量抽取进程以及增量推送进程info all,task：用于查看全量抽取进程stop *：停止进程stop *!：强行停止进程kill：杀掉无法停止的进程start *：启动进程 ( extract 、 replicat...

2018-07-11 14:21:17 252

原创 linux 系统监控

https://blog.csdn.net/defonds/article/details/52385360https://blog.csdn.net/ywheel1989/article/details/66685472

2018-06-29 19:50:42 160

原创 cloudera manager

https://segmentfault.com/a/1190000012405648

2018-05-11 15:35:53 121

原创 python 知识

一、python的库多有TensorFlow,Theano,scikit-learn,Cognitive Toolkit, Keras二、数据存储方便有sql,hadoop,mangodb,redis,spark三、数据获取方便有Scrapy,beautifulsoup,requests,paramiko四、数据运算方便有pandas，Numpy，scipy四、输出结果方便...

2018-04-26 10:31:13 118

原创 spotlinht and netdata

https://blog.csdn.net/defonds/article/details/52385360https://blog.csdn.net/ywheel1989/article/details/66685472

2018-04-26 10:19:14 147

原创 openstack 安装

https://blog.csdn.net/qq_20154221/article/details/51543867https://blog.csdn.net/qq_20154221/article/details/51906866

2018-04-12 14:13:30 166

原创 sparkstreaming值windos

http://blog.csdn.net/luoyexuge/article/details/53634997

2018-03-29 10:42:08 132

原创 jvm

http://www.cnblogs.com/moonandstar08/category/736239.html

2018-03-26 09:47:58 96

原创 TensorFlow运行中常用到一些Python第三方模块

TensorFlow运行中常用到一些Python第三方模块：numpy 存储和处理大型矩阵的科学计算包maplotlib 最著名的绘图库jupyterscikit-image 图像预处理librosa 音频特征提取的第三方库nltk 包含着大量的语料库，方便完成自然语言处理的任务，包含分词、词性标注、命名实体识别（NER）及句法分析kerastflearnm...

2018-02-04 11:35:04 219

原创 tensorflow 初学者

http://blog.csdn.net/soulmeetliang/article/details/75666675知乎初学者:https://www.zhihu.com/question/37180159作者：倪飞翔链接：https://www.zhihu.com/question/37180159/answer/96682815来源：知乎著作权归作者所有。商业转载...

2018-02-04 10:33:21 143

原创 solr 倒排索引

http://blog.csdn.net/hguisu/article/details/7962350

2018-01-18 11:34:05 464

原创 Apache Ignite

Apache Ignite - 轉Ignite Docs Online:ignite-doc-cnhttps://dongwq.gitbooks.io/ignite-doc/content/index.html-Apache Ignite 初探http://www.infoq.com/cn/articles/apache-ignite-explorer-...

2018-01-10 17:11:09 274

原创基于用户的协同过滤和皮尔逊相关系数

http://blog.csdn.net/pi9nc/article/details/9328823

2018-01-08 15:10:52 207

原创 ice之icestorm 消息发布订阅

http://blog.csdn.net/kaede999/article/details/23336291

2018-01-05 09:37:48 1002

原创协同过滤

什么是协同过滤协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐，而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。协同过滤一般是...

2018-01-02 15:52:44 104

1、ICE是什么？ ICE是ZEROC的开源通信协议产品，它的全称是：The Internet Communications Engine，翻译为中文是互联网通信引擎，是一个面向对象的中间件，使我们能够以最小的代价构建分布式应用程序。ICE使我们专注于应用逻辑的开发，它来处理所有底层的网络接口编程，这样我们就不用去考虑这样的细节：打开网络连接、网络数据传输的序列化与反序列化、连接失败的尝试次数...

2018-01-02 14:38:45 220

原创 Kafka 如何读取offset topic内容 (__consumer_offsets)

https://www.cnblogs.com/huxi2b/p/6061110.html

2017-12-29 13:17:24 222

原创 hbase 二级索引

http://blog.csdn.net/bluishglc/article/details/31799255

2017-12-28 15:18:17 119

原创 Spark 以及 spark streaming 核心原理及实践

https://www.cnblogs.com/liuliliuli2017/p/6809094.html

2017-12-25 15:10:35 107

原创增加spark 并行度方式

1 Spark Streaming增大任务并发度Q：在Spark Streaming中，增大任务并发度的方法有哪些？A：s1 core的个数: task线程数，也就是--executor-cores s2 repartition s3 Streaming + Kafka，Direct方式，则增加partition分区数 s4 Streaming ...

2017-12-09 09:45:43 644

原创 Spark 各个组件关系

http://www.cnblogs.com/sunrye/p/6504876.html

2017-10-25 09:29:56 199

原创 Scala学习笔记--Actor和并发

http://www.cnblogs.com/gnivor/p/4268689.html

2017-10-20 11:18:04 123

原创 solr的原子更新/局部更新

http://www.cnblogs.com/limingluzhu/p/5535314.html

2017-09-14 17:45:01 184

原创 NOSQL

曾在多家大公司任职的软件架构师兼顾问Kristóf Kovács在博客中对主流的NoSQL数据库（Cassandra、Mongodb、CouchDB、Redis、Riak、Membase、Neo4j以及HBase）进行了全方位的对比。虽然SQL数据库是非常有用的工具，但经历了15年的一支独秀之后垄断即将被打破。这只是时间问题：被迫使用关系数据库，但最终发现不能适应需求的情况不胜枚举。...

2017-02-07 10:16:15 83

原创 zookeeper读写操作

http://blog.csdn.net/liuyuehu/article/details/52136945

2017-01-04 15:41:33 292

原创 zookeeper读写操作

http://blog.csdn.net/liuyuehu/article/details/52136945

2017-01-04 15:41:32 300

原创 Hbase实战之WEB项目关闭异常及解决方法

异常主要内容有两点（完整异常信息参加文章结尾）：◾内存问题thread named [main-SendThread(hadoop1:2181)] but has failed to stop it. This is very likely to create a memory leak。◾加载问题java.lang.NoClassDefFoundError: org/ap...

2016-11-15 09:32:08 176

原创构建高可用ZooKeeper集群

http://www.linuxidc.com/Linux/2015-02/114230.htmhttp://www.wtoutiao.com/p/20fn3DY.html

2016-11-02 14:23:00 150

原创 solr教程，值得刚接触搜索开发人员一看

http://blog.csdn.net/awj3584/article/details/16963525http://www.cnblogs.com/hoojo/archive/2011/10/21/2220431.html1. Solr 是什么？Solr它是一种开放源码的、基于 Lucene Java 的搜索服务器，易于加入到 Web 应用程序中。Solr 提供了层面搜索(...

2016-10-14 10:31:39 93

原创 hbase 调优

http://www.360doc.com/content/14/0919/10/17130779_410636988.shtml

2016-10-11 16:16:16 101

原创 kafka和flume的对比

摘要：（1）kafka和flume都是日志系统。kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。flume分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Thrift-RPC）、text（文件）等，storage指定用hdfs做。（2...

2016-09-19 15:54:16 345

原创大数据行业人士必知10大数据思维原理

大数据思维原理是什么?简单概括为10项原理，当样本数量足够大时，你会发现其实每个人都是一模一样的。　　一、数据核心原理　　从“流程”核心转变为“数据”核心　　大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维—...

2016-08-09 09:18:00 298

原创 hbase与hive的区别

1、hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。2、hive是面向行存储的数据库。3、Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。4、HBase为查询而生的，它通过组织起节点內所有机器的內存，提供一個超大的內存Hash表5、hbase不是关系型数据库，...

2016-07-12 15:30:47 99

原创 hadoop

http://www.cnblogs.com/lanxuezaipiao/p/3525554.html

2016-05-06 15:00:03 72

原创数据库的垂直划分和水平划分

http://liriguang.iteye.com/blog/625309

2016-01-15 10:54:48 220

原创多线程

public class ThreadDemo3 { public static void main(String[] args){ Ticket t =new Ticket(); Thread t1 = new Thread(t,"窗口一"); Thread t2 = new Thread(t,"窗口二"); Th...

2015-11-11 16:05:54 108

原创 java之装饰设计模式和继承的简单区别

http://jiangnanlove.iteye.com/blog/914120

2015-10-29 16:24:15 77

原创 Spring Aop+Log4j 动态日志

http://miaoxianjie.iteye.com/blog/2067308

2015-10-26 11:30:30 118

原创 java注解

Java自定义注解小结作者：谢伟伦学习java有两年之余了，在很久之前，已经有位系统分析师告诉我，学习java，看java编程思想就够了。其言下之意，就是说，任何一切java框架，都是浮云，只有精通核心java，才是王道！现在回想起来，这句话真的十分正确，一年多的工作，都只徘徊于学习java框架，造成自己是一个只会使用，不能原理的人。趁着现在工作不忙，静下心来，好好学习一下核心ja...

2015-10-26 11:18:50 85

json文档初学者

STURTS2中文帮助手册

15天学会jquery

空空如也