gyzhang_csdn-CSDN博客

转载 “与”、“非”、“或”、“异或” 运算

转载：http://www.cnblogs.com/tankaixiong/p/3777154.html位运算符主要针对二进制，它包括了：“与”、“非”、“或”、“异或”。从表面上看似乎有点像逻辑运算符，但逻辑运算符是针对两个关系运算符来进行逻辑运算，而位运算符主要针对两个二进制数的位进行逻辑运算。下面详细介绍每个位运算符。1．与运算符与运算符用符号“&”表示，其使用规律...

2019-07-05 09:13:58 24789

转载 ETL工具比较

ETL工具比较转：http://baijiahao.baidu.com/s?id=1601248654320751991&wfr=spider&for=pc提取，转换和加载（ETL）工具使组织能够在不同的数据系统中访问，有意义且可用的数据。通常情况下，企业在了解试图编写代码和构建内部解决方案的成本和复杂性时，首先会意识到对ETL工具的需求。当选择正确的ETL工具时，您有...

2019-05-10 11:16:18 3599

转载几款开源的ETL工具及ELT初探

几款开源的ETL工具及ELT初探转：http://bigdata.51cto.com/art/201702/530998.htmETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按...

2019-05-10 11:16:14 2716

转载 ETL常用的三种工具介绍及对比Datastage，Informatica

ETL常用的三种工具介绍及对比Datastage，Informaticahttp://www.sohu.com/a/249098751_100194412ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。下面给...

2019-05-10 11:16:10 5743

转载灵蜂BeeDI ETL

大数据时代的集成利器ETL工具https://blog.csdn.net/little_bee_2004/article/details/80006047在信息时代大数据环境下，基于分布式的开源Hadoop架构日渐流行。在为大数据存储和处理提供便利的同时，它对企业的数据访问、数据整合和数据质量管理都提出了更高的要求。为此，国产数据集成软件厂商北京灵蜂软件有限公司日前宣布...

2019-05-10 11:16:07 1150

转载 ETL入门系列之 ETL工具的功能

https://www.jianshu.com/p/3000165c281a通过了解一般ETL工具必备的特性和功能，这样可以判断出Kettle是否适用你手边的工作。连接任何ETL工具都应用有能力连接到类型广泛的数据源和数据格式。ETL应该能提供下面最基本的功能：连接到普通关系型数据库并获取数据，如常见的Oracle、MS SQL Server、IBM DB/2、Ingress...

2019-05-10 11:15:59 2546

转载：https://www.cnblogs.com/jcchoiling/p/6494652.htmlhttps://blog.csdn.net/jhk9898/article/details/55101225[Spark性能调优] 第四章 : Spark Shuffle 中 JVM 内存使用及配置内幕详情本课主题 JVM 內存使用架构剖析Spark 1.6.x 和 Spark 2.x 的 JV...

2018-06-22 15:26:47 10662

转载以企业入侵检测日志分析为场景漫谈大数据安全

转载：http://netsecurity.51cto.com/art/201506/478622.htm前言写这篇文章有三个原因，一是在工作中一直艰难地摸索着这块也曾写过一篇很粗略的大数据之安全漫谈 (想继续吐槽);二是看到了阿里的招聘广告-一起来聊聊这个新职位：大数据安全分析师;三是整个2015的RSA会议 Intelligence Data-Driven 出境率太高了，于是想谈谈。大数据安全...

2018-06-19 14:25:04 1355

转载常用地址

spark 中文官网：http://spark.apachecn.org/docs/cn/2.2.0/index.html深度开源：http://www.open-open.com/lib/幕课网：https://www.imooc.com/小象学院：http://www.chinahadoop.cn/数据创造价值 : http://dataunion.org/?s=spark程序师：http:...

2018-06-19 14:23:13 1653

转载 gRPC

转载：http://www.cnblogs.com/polinzhuo/p/5323045.htmlhttp://www.cnblogs.com/shanyou/p/grpc.html目录一、概述二、编译gRPC三、C#中使用gRPC四、C++中使用gRPC一直在寻找多平台多语言的通信框架，微软的WCF框架很强大和灵活，虽然也能通过自定义绑定和其他技术的客户端通信，但是始终没有实现多平台的技术框架...

2018-06-19 14:22:25 925

转载 Tesseract-OCR识别中文与训练字库实例

转载：http://www.cnblogs.com/wzben/p/5930538.htmlhttps://my.oschina.net/zhouxiang/blog/161619关于中文的识别，效果比较好而且开源的应该就是Tesseract-OCR了，所以自己亲身试用一下，分享到博客让有同样兴趣的人少走弯路。文中所用到的身份证图片资源是百度找的，如有侵权可联系我删除。一、准备工作1、下载Tes...

2018-06-19 14:21:56 238

转载使用java代码提交Spark的hive sql任务，run as java application

转载：https://www.thinksaas.cn/group/topic/501208/我的环境：hadoop 2.7.1、spark 1.6.0、hive 2.0、java 1.7目标：通过java -jar xxx.jar的方式来运行提交spark应用，执行查询hive sql。问题一：首先要提一下，按照java -jar执行，会报java.lang.OutOfMemoryError: ...

2018-06-19 14:21:52 1338 1

转载 Spark踩坑记——数据库（Hbase+Mysql）

转载：http://www.cnblogs.com/xlturing/p/spark.html前言在使用Spark Streaming的过程中对于计算产生结果的进行持久化时，我们往往需要操作数据库，去统计或者改变一些值。最近一个实时消费者处理任务，在使用spark streaming进行实时的数据流处理时，我需要将计算好的数据更新到hbase和mysql中，所以本文对spark操作hbase和my...

2018-06-19 14:21:48 230

转载 hive 安装和使用

Hive 1.2.1搭建https://www.jianshu.com/p/763d5c665a2360分钟内从零起步驾驭Hive实战学习笔记（Ubuntu里安装mysql）http://www.cnblogs.com/zlslch/p/5943189.htmlhive 常用小技巧https://my.oschina.net/wangjiankui/blog/263734...

2018-06-19 14:21:43 164

转载 Flume-NG之KafkaChannel

转载：http://www.cnblogs.com/lxf20061900/p/4307381.html　apache下一个版本(1.6)将会带来一个新的组件KafKaChannel，顾名思义就是使用kafka做channel，当然在CDH5.3版本已经存在这个channel。　　大伙知道，常用的channel主要有三个：　　1、memory channel：用内存做channel，优点是速度最快...

2018-06-19 14:21:39 411

转载浅谈大型网络入侵检测建设

转载：https://security.tencent.com/index.php/blog/msg/21一、前言伊朗2010年被报出核工厂遭受“超级工厂”(Stuxnet)病毒攻击，蠕虫通过多个漏洞潜伏在工控系统近两年未被发现。相信诸如上述案例中的伊朗核工厂，大多网络中都会部署有各种形形色色的安全产品，杀毒软件,waf或IDS。但为什么那么大范围的攻击却依然久未被察觉？大型网络怎样才能...

2018-06-19 14:21:33 292

转载以企业入侵检测日志分析为场景漫谈大数据安全

转载：http://netsecurity.51cto.com/art/201506/478622.htm前言写这篇文章有三个原因，一是在工作中一直艰难地摸索着这块也曾写过一篇很粗略的大数据之安全漫谈 (想继续吐槽);二是看到了阿里的招聘广告-一起来聊聊这个新职位：大数据安全分析师;三是整个2015的RSA会议 Intelligence Data-Driven 出境率太高了，于是想谈谈。大数据安全...

2018-06-19 14:21:28 487

转载 spark 参数说明

转载：http://blog.javachen.com/2015/06/07/spark-configuration.html以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。Spark提供三个位置用来配置系统：Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置环境变量：可以通过每个节点的 conf/spark...

2018-06-19 14:21:23 303

转载语义分析的一些方法

转载：http://www.flickering.cn/ads/2015/02/%E8%AF%AD%E4%B9%89%E5%88%86%E6%9E%90%E7%9A%84%E4%B8%80%E4%BA%9B%E6%96%B9%E6%B3%95%E4%B8%80/语义分析，本文指运用各种机器学习方法，挖掘与学习文本、图片等的深层次概念。wikipedia上的解释：In machine learnin...

2018-06-19 14:21:19 26978

转载 Linux CMD

http://man.linuxde.net/1. 前言本文介绍了常用的Linux shell命令，包括date、cut、sort、uniq、sed、vi、diff、find等，同时给出尽可能使用的实例以便于理解。2. Linux shell命令2.1 date作用：获取或者设置日期用法：date [选项] 显示时间格式（以+开头，后面接格式）举例：(1) 以固定格式显示时间：date + “%Y...

2018-06-19 14:21:15 1926

转载 Linux环境查看

一：查看cpumore /proc/cpuinfo | grep "model name"grep "model name" /proc/cpuinfo如果觉得需要看的更加舒服grep "model name" /proc/cpuinfo | cut -f2 -d: 二：查看内存grep MemTotal /proc/meminfogrep MemTotal /proc/meminfo | cut...

2018-06-19 14:21:10 6616

转载 Spark性能调优

转载：https://www.csdn.net/article/2015-07-08/2825160通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。性能监控工具【Spark监控工具】Spark提供了一些基本的Web监控页面，对于日常监控十分有用。1. Application Web UIhttp://master:4040（默认端口是4040，可...

2018-06-19 14:21:04 213

转载 CentOS6.5系统下RPM包安装MySQL5.6

转载：https://www.linuxidc.com/Linux/2015-04/116003.htm 1.查看操作系统相关信息。[root@linuxidc ~]# cat /etc/issue CentOS release 6.5 (Final) Kernel \r on an \m [root@linuxidc ~]# uname -a Linux linuxi...

2018-06-19 14:20:59 173

转载 Java集合类: Set、List、Map、Queue使用场景梳理

转载：http://www.cnblogs.com/LittleHann/p/3690187.html?utm_source=tuicool&utm_medium=referral本文主要关注Java编程中涉及到的各种集合类，以及它们的使用场景相关学习资料http://files.cnblogs.com/LittleHann/java%E9%9B%86%E5%90%88%E6%8E%92...

2018-06-19 14:20:55 154

转载 Java并发编程：CountDownLatch、CyclicBarrier和Semaphore

转载：http://www.cnblogs.com/dolphin0520/p/3920397.html在java 1.5中，提供了一些非常有用的辅助类来帮助我们进行并发编程，比如CountDownLatch，CyclicBarrier和Semaphore，今天我们就来学习一下这三个辅助类的用法。　　以下是本文目录大纲：　　一.CountDownLatch用法　　二.CyclicBarrier用法...

2018-06-19 14:20:50 135

转载 LuceneUtils工具类简单封装

转载：http://iasdamyida.iteye.com/blog/2196808周六花了整整一下午，将Lucene5中有关索引的常见操作进行了简单封装，废话不多说，上代码：package com.yida.framework.lucene5.util;import java.io.IOException;import java.util.concurrent.ExecutorServi...

2018-06-19 14:20:42 677

转载 Spark分布式计算执行模型

转载：http://www.flickering.cn/%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97/2014/07/spark%E5%88%86%E5%B8%83%E5%BC%8F%E8%AE%A1%E7%AE%97%E6%89%A7%E8%A1%8C%E6%A8%A1%E5%9E%8B/http://www.flickering.cn/%E8%B5...

2018-06-19 14:20:39 1033

转载 Redis 使用

转换：http://dongxicheng.org/nosql/redis-code-basic-points/1. Redis 是什么Redis是一个开源的使用ANSI C语言编写的基于内存的key/value存储系统，与memcache类似，但它支持的value类型更多，包括：字符串(string)、链表(list)、集合(set)、有序集合(sorted set)和hash tablehtt...

2018-06-19 14:20:35 123

转载数据结构之堆

转载：http://dongxicheng.org/structure/heap/1. 概述堆（也叫优先队列），是一棵完全二叉树，它的特点是父节点的值大于（小于）两个子节点的值（分别称为大顶堆和小顶堆）。它常用于管理算法执行过程中的信息，应用场景包括堆排序，优先队列等。2. 堆的基本操作堆是一棵完全二叉树，高度为O（lg n），其基本操作至多与树的高度成正比。在介绍堆的基本操作之前，先介绍几个基本...

2018-06-19 14:20:27 275

转载 python 学习

http://blog.chinaunix.net/uid-15007890-id-4038787.htmlhttp://blog.csdn.net/hitlion2008/article/details/9285785http://www.cnblogs.com/CheeseZH/archive/2012/11/05/2755107.htmlhttp://cndenis.iteye.com/bl...

2018-06-19 14:20:21 127

转载 java 线程池

转载：http://www.cnblogs.com/dolphin0520/p/3932921.html线程池异常处理：http://www.cnblogs.com/zhuawang/p/3751875.html http://www.blogjava.net/xylz/archive/2013/08/05/402405.html在前面的文章中，我们使用...

2018-06-19 14:20:13 101

转载 keytool 管理与配置

Java制作证书的工具keytool用法总结http://www.cnblogs.com/xdp-gacl/p/3750965.htmlJava Security：keytool工具使用说明http://www.cnblogs.com/f1194361820/p/4266511.htmlJava加密技术（十一）——双向认证http://snowolf.iteye.com/blog/510985Op...

2018-06-19 14:20:09 2265

转载 Kerberos 安装和管理

Kerberos 服务介绍https://docs.oracle.com/cd/E26926_01/html/E25889/intro-1.html#scrolltocKerberos 5安装和管理http://ju.outofmemory.cn/entry/95493kerberos安装和管理http://debugo.com/kerberos/kerberos认证原理---讲的非常细致，易懂h...

2018-06-19 14:19:56 514

转载 MySQL数据库的优化

转载：http://blog.51cto.com/liangweilinux/1728131我们究竟应该如何对MySQL数据库进行优化？下面我就从MySQL对硬件的选择、MySQL的安装、my.cnf的优化、MySQL如何进行架构设计及数据切分等方面来说明这个问题。服务器物理硬件的优化在挑选硬件服务器时，我们应该从下面几个方面着重对MySQL服务器的硬件配置进行优化，也就是说将项目中的资金着重投入...

2018-06-19 14:19:51 168

转载 Java多线程阻塞队列和并发集合

转载 : http://blog.sina.com.cn/s/blog_616e189f0100rw7x.html本章主要探讨在多线程程序中与集合相关的内容。在多线程程序中，如果使用普通集合往往会造成数据错误，甚至造成程序崩溃。Java为多线程专门提供了特有的线程安全的集合类，通过下面的学习，您需要掌握这些集合的特点是什么，底层实现如何、在何时使用等问题。3.1 BlockingQueue接口ja...

2018-06-19 14:19:47 353

转载 ExecutorService的十个使用技巧

转载：http://deepinmind.iteye.com/blog/216060909ExecutorService](https://docs.oracle.com/javase/8/docs/api/java/util/concurrent/ExecutorService.html)这个接口从Java 5开始就已经存在了。这得追溯到2004年了。这里小小地提醒一下，官方已经不再支持Java...

2018-06-19 14:19:43 1145

转载 git 使用

六百字读懂Git : http://www.techug.com/post/git-in-600-words.html25个Git用法技巧 : http://www.techug.com/post/25-git-tips.htmlgit - 简易指南 : http://www.bootcss.com/p/git-guide/Git深度使用经验总结 : http://blog.csdn.net/ka...

2018-06-19 14:19:39 148

转载 CSS 网站工具

http://www.css88.com/book/css/properties/layout/float.htmhttp://top.css88.com/archives/703

2018-06-19 14:19:34 242

转载 JS 技术网站集合

WEB开发中需要了解的东西： https://coolshell.cn/articles/6043.htmljs run step env : http://zhangbo-peipei-163-com.iteye.com/blog/1773959 http://www.cnblogs.com/pigtail/archive/2012/07/19/2570988.html ...

2018-06-19 14:19:30 490

转载 linux 用户相关操作

转载：http://www.cnblogs.com/xd502djj/archive/2011/11/23/2260094.htmlLinux添加/删除用户和用户组本文总结了Linux添加或者删除用户和用户组时常用的一些命令和参数。1、建用户：adduser phpq //新建phpq用户passwd phpq ...

2018-06-19 14:19:25 167

tesseract install package

空空如也