chenhongqian-CSDN博客

原创 opencc 安装

在centos中，直接使用yum install opencc是不够的，使用opencc会提示没有这个命令。yum search opencc一下，发现有个opencc-tools安装之，使用opencc -i wiki_00 -o wiki_chs -c zht2zhs.ini命令，果断成功！

2017-06-15 16:51:33 4265

转载 Hadoop2.6.0完全分布式的安装与配置（Centos）

1.Linux安装前的配置1.1.关闭防火墙本站文档是假定「服务器在防火墙以内」的前提下编纂的，在这个前提下，服务器本身在内部网络是不需要防火墙的（在需要抵御内部安全威胁的情况下，您也可以用您在iptables方面的相关知识，根据实情设置防火前，并保证服务器端防火墙启动的状态）。另外，在一般情况下，我们不需要SELinux复杂的保护，所以也将其设置为无效的状态。

2017-01-26 14:33:21 481

转载 hadoop2.6.0 日志

学习演练Hadoop 2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能，在这里总结一下。网上的资料并不丰富，甚至Google出来的结果也不是很满意，或许这个是太简单了，牛人都不屑来写。也可能是各个公司藏着掖着的东西。Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager

2017-01-24 14:52:30 1034

转载详细探究Spark的shuffle实现

Background在MapReduce框架中，shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现，自然也实现了shuffle的逻辑，本文就深入研究Spark的shuffle是如何实现的，有什么优缺点，与Hadoop Ma

2016-12-05 15:33:11 324

原创 Spark Streaming结合 Kafka 两种不同的数据接收方式比较

通过以上分析，我们可以对这两种方式的区别做一个总结：createStream会使用 Receiver；而createDirectStream不会createStream使用的 Receiver 会分发到某个 executor 上去启动并接受数据；而createDirectStream直接在 driver 上接收数据createStream使用 Receiver 源源不断的接收数据并把数据交

2016-12-05 15:27:38 1004

转载 centos 端口检查

Centos 7 采用firewall 防火墙：例如查询9200端口是否打开命令如下： firewall-cmd --query-port=9200/tcp返回yes 表示打开打开9300端口命令如下：firewall-cmd --add-port=9300/tcp返回success表示打开成功

2016-06-23 15:25:26 411

转载 VSFTPD全攻略（/etc/vsftpd/vsftpd.conf文件详解）

分类： linux命令及工具使用 2009-10-07 19:14 1473人阅读评论(0) 收藏举报/etc/vsftpd/vsftpd.conf文件详解，分好类，方便大家查找与学习#################匿名权限控制###############anonymous_enable=YES　　 #是否启用匿名用户no_anon_password

2016-01-05 14:29:42 6174

转载如何给VSFTP增加用户,只能访问指定目录

1 增加组 groupadd ftpgroup2 修改/etc/vsftpd/vsftpd.conf 将底下三行 #chroot_list_enable=YES # (default follows) #chroot_list_file=/etc/vsftpd.chroot_list 改为 chroot_list_en

2016-01-05 13:37:34 983

转载 linux_vsftp服务器的搭建

一、FTP服务器及基本原理 1、FTP服务的基本概念 FTP是用于进行文件传输的网络协议FTP服务中分为服务器和客户机两个角色2、FTP服务器的传输模式主动模式：由服务器主动连接客户机建立数据链路被动模式：FTP服务器等待客户机建立数据链路3、FTP服务器使用的端口21端口用于与客户机建立命令链路在主动模式下服务器使用20端口向客户机建立数据链路4、vs

2016-01-05 10:32:19 581

转载 VMware的“桥接”、“NAT”、“Host-only”上网方式的区别

在说到VMware的网络模型之前，先说一下VMware的几个虚拟设备：VMnet0：这是VMware用于虚拟桥接网络下的虚拟交换机；VMnet1：这是VMware用于虚拟Host-Only网络下的虚拟交换机；VMnet8：这是VMware用于虚拟NAT网络下的虚拟交换机；VMware Network Adapter VMnet1：这是Host用于与Host-Only虚拟网络

2015-04-25 10:25:13 352

转载网络原理，以及对VMware Workstation虚拟网络VMnet0、VMnet1、VMnet8的图解

http://blog.csdn.net/adultf/article/details/72909991. 文中符号的说明： : 可以理解成A，也可以理解成B。2. 术语调制解调器(Modem): 实现模拟信号与数字信号间的相互转换，可以忽略成一条网线。路由器: 提供路由、DHCP、NAT等的专门设备，连接不同的网络(包括局

2015-04-25 09:58:56 559

转载 maven setting.xml详解

<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://m

2015-03-25 10:04:42 379

转载 maven安装

1.1安装jdk在安装Maven之前，首先要确认你已经正确安装了JDK。Maven可以运行在JDK 1.6及以上的版本上。打开Windows的命令行，运行如下的命令来检查你的Java安装：C:\Users\Juven Xu>echo %JAVA_HOME%C:\Users\Juven Xu>java -version结果如图2-1所示：图2-1 Windows中检

2015-03-25 09:43:05 419

转载 socket协议基础知识

Socket协议的形象描述　　socket的英文原义是“孔”或“插座”。在这里作为4BDS UNIX的进程通信机制，取后一种意思。socket非常类似于电话插座。以一个国家级电话网为例。电话的通话双方相当于相互通信的2个进程，区号是它的网络地址；区内一个单位的交换机相当于一台主机，主机分配给每个用户的局内号码相当于socket号。任何用户在通话之前，首先要占有一部电话机，相当于申请

2015-02-27 15:20:58 435

转载 AXIS2:如何发布webservice

一种是打aar包放在指定位置（适合发布），一种是不打aar包（适合调试）。说明：myEclipse版本8.5、tomcat版本6、AXIS2版本1.5.1、EclipseTomcatPlugin3.2.1准备工作：下载WAR (Web Archive) Distribution“This will be the web application of Axi

2015-02-05 10:02:10 359

转载数据库的简单实现

所有应用软件之中，数据库可能是最复杂的。MySQL的手册有3000多页，PostgreSQL的手册有2000多页，Oracle的手册更是比它们相加还要厚。但是，自己写一个最简单的数据库，做起来并不难。Reddit上面有一个帖子，只用了几百个字，就把原理讲清楚了。下面是我根据这个帖子整理的内容。一、数据以文本形式保存第一步，就是将所要保存的数据，写入文本文件。这个文

2015-01-15 22:02:32 423

转载 hash

前言 java中==、equals()、hashCode()都和对象的比较有关，在java中这三者各有什么用处呢，即java中为什么需要设计这三种对象的比较方法呢？关于== ==是容易理解的。java设计java就是要比较两个对象是不是同一个对象。对于引用变量而言，比较的时候两个引用变量引用的是不是同一

2015-01-15 21:56:05 344

转载 HashMap原理

java面试题-HashMap原理最近面试被问过很多次关于HashMap的问题，比如：说说Hashpmap的原理，HashMap怎样保证key的唯一性。小小总结一下。1. HashMap概述 HashMap是基于哈希表的Map接口的非同步实现。此实现提供所有可选的映射操作，并允许使用null值和null键。此类不保证映射的顺序，特别

2015-01-15 21:50:43 484

转载 android异步下载网络图片(三)

在第一节中，我们使用Handler、Thread/Runnable 、URL、HttpURLConnection等等来进行异步下载网络图片。然后第二节中换了AsyncTask方式。那么这一节我们再应用其他方式，这个方式与第一节有点雷同，感觉走了一圈回到原地，只是风景更加美丽。人生很多时候也是如此，从NULL中来再回到NULL中。那么它是谁呢？java.util.concurrent

2015-01-14 16:45:40 443

转载 android异步下载网络图片(二)

(转)http://www.cnblogs.com/zhangdongzi/archive/2011/04/13/2015215.html在上一节中，我们使用Handler、Thread/Runnable 、URL、HttpURLConnection等等来进行异步下载网络图片。但是采用这种方式有一些缺点，如下：线程的开销较大，如果每个任务都要创建一个线程，那么程序的效率要低

2015-01-14 16:10:21 329

转载 android异步下载网络图片(一)

项目中有时候需要获取网络上的图片，并下载下来到手机客户端显示。怎么做呢？实现思路是： 1：在UI线程中启动一个线程,让这个线程去下载图片。 2：图片完成下载后发送一个消息去通知UI线程 2：UI线程获取到消息后，更新UI。这里的UI线程就是主线程。这两个步骤涉及到一些知识点，即是：ProgressDialog,Handler,Thread/

2015-01-14 15:51:57 559

转载 android的消息处理机制（图+源码分析）——Looper,Handler,Message

(转)http://www.cnblogs.com/codingmyworld/archive/2011/09/12/2174255.html作为一个大三的预备程序员，我学习android的一大乐趣是可以通过源码学习google大牛们的设计思想。android源码中包含了大量的设计模式，除此以外，android sdk还精心为我们设计了各种helper类，对于和我一样渴望水平得到进阶的

2015-01-14 15:23:06 366

转载多屏幕多分辨率的支持和一些概念

快速预览Android 在不同的屏幕大小和密度上执行屏幕的显示会影响用户界面的效果系统处理大多数的自适应屏幕你应该针对屏幕创建资源以更好的控制你的UI Android 是一个系统，运行在这个系统上的很多设备它们的屏幕大小和密度都不一样。但我们需要解决这个问题。本节为详细的为你解释一些基础概念和教你怎么处理关于多屏幕多分辨率的支持。虽然系统会根据不同的屏幕来执行缩放和调整你

2015-01-13 15:31:31 486

chenhongqian的专栏