自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

愷风(Wei)的专栏

使用工具、了解工具、创造工具……

  • 博客(12)
  • 资源 (25)
  • 收藏
  • 关注

原创 【分布式】hadoop安装篇(11)CDH安装中的问题:swappiness

现象在运行的过程中,即使我们看到host的内存仍富有余量,但是健康检查亮橙灯,会有Swapping Concerning的提示,例如6 pages were swapped to disk in the previous 15 minute(s). Warning threshold: any.其实在安装过程中的自检中,也看到有关的wa...

2018-06-28 09:40:18 1365

原创 【分布式】hadoop安装篇(10)在Ubuntu中使用CDH安装hadoop集群(下)

安装和配置cluster11)进入集群配置我们将在wei001,wei002和wei003中安装hadoop,hase,spark作为我们后续学习的基础。相应地选择了HDFS,YARN,Zookeeper,oozie,hive,hue,HBASE,Spark。2)配置数据库在mysql中新增数据库 hive, ozzie和hue,分别提供给hive,oozie和hue组件。create datab...

2018-06-21 15:54:53 948

原创 【分布式】hadoop安装篇(9)在Ubuntu中使用CDH安装hadoop集群(中)

安装CDH1)启动server服务在wei001中执行:sudo service cloudera-scm-server start此时我们进入数据库,可以看到scm里面有表格的创建。这个部署需要花费点时间,我们可以跟踪log文件(/var/log/cloudera-scm-server/cloudera-scm-server.log)我们也可以打开浏览器,输入 http://191.8.2.93...

2018-06-21 15:42:30 597

原创 【分布式】hadoop安装篇(8)在Ubuntu中使用CDH安装hadoop集群(上)

安装拓扑我们将采用parcel的安装方式,如果采用手动命令行安装,可以参考 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.4/bk_command-line-installation/content/ref-e7d8d791-4022-432b-9203-666bbaa1b2cb.1.html安装参考:https://www.clou...

2018-06-21 15:19:51 1077

原创 【分布式】hadoop安装篇(7)Hadoop 3的伪分布模式安装

准备$ sudo apt-get install ssh $ sudo apt-get install pdsh我们还需要设置pdsh的rcmd,执行下面内容。或创建/etc/pdsh/rcmd_default,里面填入sshecho "ssh" > /etc/pdsh/rcmd_default如果这步骤不设置,我们在启动hdfs时,可能会报告gsta@gsta005:~/wei/hadoo...

2018-06-21 14:28:13 3810 1

原创 【分布式】hadoop安装篇(6)Java API的验证

Maven<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.0</version> </dependency>

2018-06-21 14:18:09 376

原创 【分布式】hadoop安装篇(5)验证和一些命令

在上一博文中,我们已经安装了Hadoop2.9的伪分布环境,我们需要对其进行一些验证。验证【在NDFS中创建目录,用于执行MapReduce jobs。】 $ hdfs dfs -mkdir /user //这和linux的命令很是相识,前面加上-(-ls,-cat, -rmdir等等),这个目录是建在NDFS的img上的。 $ hdfs dfs -mkdir /user/...

2018-06-21 14:06:05 824

原创 【分布式】hadoop安装篇(4)Hadoop 2.x的伪分布模式安装

Hadoop伪分布模式,是在一个单机上模拟Hadoop分布式环境,需要安装的包括: HDFS:包括NameNode和DataNode Yarn:是运行mapReducede容器,包括ResourceManager和NodeManager准备$ sudo apt-get install ssh 【已经安装了openssh,可以使用ssh,无需再次安装】 $ sudo apt-get install...

2018-06-21 11:39:03 348

原创 【分布式】hadoop安装篇(3)安装准备和Standalone安装

下载在 http://hadoop.apache.org/releases.html 中获取相关的版本。安装参考: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-common/SingleCluster.html http://hadoop.apache.org/docs/r3.1.0/hadoop-project-...

2018-06-21 11:07:51 597

原创 【分布式】hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下)

web图形方式安装VirtualBoxweb方式利用phpVirtualbox,只支持到5.0版本。也可以强制使用5.2版本,web会提示版本不兼容,能够使用,但不要通过web上的远程连接,而是使用windows自带的远程桌面。1)加上virtualbox的源,前面已经介绍,不再重复2)安装5.0版本$ sudo apt-get install virtualbox-5.0 3)安装扩展包# 查看...

2018-06-21 10:44:51 393

原创 我的分布式学习博文

【hadoop安装篇】 hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上) 2018.6.20 hadoop安装篇(2)Virtualbox在Ubuntu server上的安装和使用(下) 2018.6.21 hadoop安装篇(3)安装准备和Standalone安装 2018.6.21 hadoop安装篇(4)Hadoop 2.x的伪分布模式安装...

2018-06-21 09:10:54 400

原创 【分布式】hadoop安装篇(1)Virtualbox在Ubuntu server上的安装和使用(上)

安装篇说明【环境】Ubuntu server 16.04。我们在接下来的几篇博客将介绍hadoop伪分布式安装(开发环境)以及通过CDH进行的集群安装(生产环境)。这些都在阿土16.04 server的环境。集群安装需要多台机器,作为实验用,我们采用虚机的方式。在windows上或者desktop的linux上都很容易使用virtualbox,有图形操作。而安装虚机的过程,也需要界面的。Ubunt...

2018-06-20 16:58:02 693

Pro Android学习:联系人API

Pro Android学习系列中的传感器小例子。具体见http://blog.csdn.net/flowingflying/article/details/6212512

2015-06-15

Servlet速成学习

跟踪http://edu.51cto.com/course/course_id-1774.html学习,在代码上做笔记,可算是速成学习完servlet

2015-03-20

Pro Android学习:传感器

Pro Android学习系列中的传感器小例子。具体见http://blog.csdn.net/flowingflying/article/details/6212512

2015-02-06

[zip文件] Pro Android学习:拖拽小例子

Pro Android学习系列中的拖拽小例子。具体见http://blog.csdn.net/flowingflying/article/details/6212512

2014-12-12

Pro Android学习:touch screen小例子

Pro Android学习系列中的Touch Screen小例子。具体见http://blog.csdn.net/flowingflying/article/details/6212512

2014-11-18

Pro Android学习:list widget小例子

Pro Android学习系列中的List Widget2小例子。具体见http://blog.csdn.net/flowingflying/article/details/6212512

2014-10-23

Pro Android学习:widget小例子

Pro Android学习系列中的Home Screen Widget小例子。具体见http://blog.csdn.net/flowingflying/article/details/6212512

2014-10-15

Pro Android学习:media frameworks小例子

Pro Android学习系列中的media frameworks小例子。具体见http://blog.csdn.net/flowingflying/article/details/6212512

2014-09-30

[zip文件] Pro Android学习:telephony小例子

这是Pro Android学习系列中Telephony API部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-09-16

Pro Android学习:location小例子

这是Pro Android学习系列中location部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-08-27

Pro Android学习:2D动画小例子

这是Pro Android学习系列中2D动画部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-08-14

Pro Android学习:Alarm manager小例子

这是Pro Android学习系列中alarm manager部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-07-18

Pro Android学习:Broadcast小例子

这是Pro Android学习系列中Broadcast部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-07-01

Pro Android学习:AsyncTask小例子

这是Pro Android学习系列中AsyncTask部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-05-16

Pro Android学习:了解Handler小例子

这是Pro Android学习系列中Android Service部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-05-08

Pro Android学习:了解package的小例子

这是Pro Android学习系列中了解package部分的例子源代码。包括通过共享UserID实现资源共享,以及lib项目

2014-04-18

Pro Android学习:Android service小例子

这是Pro Android学习系列中Android Service部分的例子源代码。相关学习笔记见:http://blog.csdn.net/flowingflying/article/details/6212512

2014-03-27

Pro Android学习:Http service小例子

这是Pro Android学习系列中http service的例子源代码。

2014-02-10

Pro Android学习:permission例子

这是Pro Android学习系列中permission部分的例子源代码。

2013-12-19

Pro Android学习:Preference(首选项)小例子

这是Pro Android学习系列中preference部分的例子源代码。

2013-12-04

Pro Android学习:ActionBar小例子

Pro Android学习系列中的action bar小例子。

2013-11-07

Pro Android学习:Dialog小例子

这是Pro Android学习dialog部分的例子源代码。

2013-10-30

Pro Android学习:Fragment

这是Pro Android学习Fragment部分的例子源代码。

2013-10-25

Pro Android学习:Menu

是Pro Android学习笔记Menu系统的例子代码

2013-09-29

NTLM PPROXY client的实现(C source code)

HTTP PROXY中NTLM的客户端的C源代码。包含相关的DES等算法在内。Base64的算法,是通过网上共产主义获取,MD4,MD5,HMAC MD5的算法是RFC中提供的,其余的可以根据下面链接的步骤进行编写。我提供一个源代码的例子。其中arith_开头的相关算法,httppc_ntlm是 NTLM的type1、type2、type3消息的应答构成,test_httppc_connect是一个测试的例子,里面没有main函数,但是另外构造一个main函数,在wei_set_proxy_info之后,调用wei_httppc_connect就可以了。详细见http://blog.csdn.net/flowingflying/archive/2009/03/03/3952796.aspx 有朋友说少了头文件,我查了一下,不好意思,少了md.h。请参考下面。 /* Copyright (C) 1991-2, RSA Data Security, Inc. Created 1991. All rights reserved. License to copy and use this software is granted provided that it is identified as the "RSA Data Security, Inc. MD4 Message-Digest Algorithm" in all material mentioning or referencing this software or this function. License is also granted to make and use derivative works provided that such works are identified as "derived from the RSA Data Security, Inc. MD4 Message-Digest Algorithm" in all material mentioning or referencing the derived work. RSA Data Security, Inc. makes no representations concerning either the merchantability of this software or the suitability of this software for any particular purpose. It is provided "as is" without express or implied warranty of any kind. These notices must be retained in any copies of any part of this documentation and/or software. */ #ifdef __cplusplus extern "C" { #endif #ifndef WEI_MD_H #define WEI_MD_H #ifndef IN #define IN #endif #ifndef OUT #define OUT #endif /************************************ 算法:MD4和MD5 *********************************/ //从RFC1320 The MD4 Message-Digest Algorithm的附录 //从RFC1321 The MD5 Message-Digest Algorithm的附录 /* PROTOTYPES should be set to one if and only if the compiler supports function * argument prototyping.The following makes PROTOTYPES default to 0 if it has not * already been defined with C compiler flags. */ #ifndef PROTOTYPES #define PROTOTYPES 0 #endif /* POINTER defines a generic pointer type */ typedef unsigned char * POINTER; /* UINT2 defines a two byte word */ typedef unsigned short int UINT2; /* UINT4 defines a four byte word */ typedef unsigned long int UINT4; /* PROTO_LIST is defined depending on how PROTOTYPES is defined above.If using PROTOTYPES, * then PROTO_LIST returns the list, otherwise it returns an empty list. */ #if PROTOTYPES #define PROTO_LIST(list) list #else #define PROTO_LIST(list) () #endif /* MD4 context. */ typedef struct { UINT4 state[4]; /* state (ABCD) */ UINT4 count[2]; /* number of bits, modulo 2^64 (lsb first) */ unsigned char buffer[64]; /* input buffer */ } MD4_CTX; void MD4Init PROTO_LIST ((MD4_CTX *)); void MD4Update PROTO_LIST ((MD4_CTX *, unsigned char *, unsigned int)); void MD4Final PROTO_LIST ((unsigned char [16], MD4_CTX *)); /* MD5 context. */ typedef struct { UINT4 state[4]; /* state (ABCD) */ UINT4 count[2]; /* number of bits, modulo 2^64 (lsb first) */ unsigned char buffer[64]; /* input buffer */ } MD5_CTX; void MD5Init PROTO_LIST ((MD5_CTX *)); void MD5Update PROTO_LIST ((MD5_CTX *, unsigned char *, unsigned int)); void MD5Final PROTO_LIST ((unsigned char [16], MD5_CTX *)); #endif #ifdef __cplusplus } #endif 因为我没有认真地打包封装,而是从我的一个project中抽出了,有些遗漏,请大家原谅。今天又有网友来问PRIVATE在哪里定义。因为代码不在手头的机器上,没法仔细看,PRIVATE的定义如下 #define PRIVATE 定义为空,这是模仿C++的private,说明这个函数不会被其他文件引用,只用于本文件。 最近又收到网友的来信,说少了几个util文件。这个是不在ntlm的算法中,而是在验证例子test_httppc_connect.cpp中使用。查了一下,我确实没有放到网上。汗啊,因为验证例子是从某个程序中抽取出来,里面包含一个很简单的http的解析。我本来想update资源,没有找到 update的方法。需要说明的是这部分和真正的算法没有直接关系。放在这里,太长了,如果需要的网友,请到http://blog.csdn.net/flowingflying/archive/2009/03/03/3952796.aspx 那里下载。

2009-03-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除