- 博客(19)
- 资源 (32)
- 收藏
- 关注
RSS订阅原创 学习Hadoop时遇到的问题以及解决方法
一、问题：本人在伪分布HDFS中学习，每次重启电脑的时候，在执行sbin/start-dfs.sh启动HDFS之前都需要执行bin/hadoop namenode -format命令才能启动。并且每次启动之后都发现之前在HDFS系统中的文件夹和文件都不见了！原因：namenode的存储路径是在/tmp/hadoop-**,所以系统在关闭之后都会清除掉这里面的数据。解决：修改
2015-10-21 22:57:48
1129
原创 我的第一个MapReduce程序（WordCount）
万事开头难！长途从第一步开始！MapReduce编程也一样！下面是本人编写的第一个MapReduce程序以及个人的一些理解！准备条件：1、安装hadoop2、工具：eclipse（已经安装了hadoop插件）3、开发平台：ubuntu（也可以在Win上面开发）参考资料地址为：http://hadoop.apache.org/docs/r2.6.0/had
2015-10-19 19:25:59
462
转载 我是如何向老婆解释MapReduce的？
我是如何向老婆解释MapReduce的？英文出处：Shekhar Gulati。欢迎加入翻译组。昨天，我在Xebia印度办公室发表了一个关于MapReduce的演说。演说进行得很顺利，听众们都能够理解MapReduce的概念（根据他们的反馈）。我成功地向技术听众们（主要是Java程序员，一些Flex程序员和少数的测试人员）解释了MapReduce的概念，这让我感到兴奋。在所有辛勤的
2015-10-18 20:53:04
428
转载 ubuntu安装和查看已安装
说明：由于图形化界面方法（如Add/Remove... 和Synaptic Package Manageer）比较简单，所以这里主要总结在终端通过命令行方式进行的软件包安装、卸载和删除的方法。一、Ubuntu中软件安装方法1、APT方式（1）普通安装：apt-get install softname1 softname2 …;（2）修复安装：apt-get -f install s
2015-10-18 19:45:21
450
原创 linux目录解释
/bin是超级用户和一般用户都可以使用的命令；/usr/bin是安装的软件的命令 usr表示的是unix software source/opt:对于第三方软件，如果是自动安装，那么一般会安装在此目录下面。比如qqAccording to the FHS, the / directory must contain, or havelinks to, the following
2015-10-18 19:27:12
432
原创 在ubuntu系统中使用dpkg命令安装后缀名为deb的软件包
在ubuntu系统中使用dpkg命令安装后缀名为deb的软件包：dpkg命令常用格式如下：#查看文件结构（其中-c等价于--contents）sudo dpkg -c xx.deb#安装软件包（其中-i等价于--install）sudo dpkg -i xx.deb#查看软件包的信息（软件名称可通过dpkg -I命令查看，其中-l等价于--list）
2015-10-18 19:03:41
1763
原创 使用HDFS API实现hadoop HDFS文件系统的基本操作
下面介绍使用hadoop的HDFS分布式文件系统的java API实现基本的文件操作，比如：创建文件、修给文件、创建目录或者文件夹、从本地系统上传文件到HDFS系统中、从HDFS文件系统中下载文件到本地系统。集成开发环境IDE工具：eclispe（已经安装了hadoop插件）说明：下面main函数中的路径：／user／liangyihuai 以及／usr／是在HDFS上面的路
2015-10-18 16:02:18
1341
转载 eclipse 操作HDFS时出现Permission denied的三个解决方法
1、在系统的环境变量或java JVM变量里面添加HADOOP_USER_NAME，这个值具体等于多少看自己的情况，以后会运行HADOOP上的Linux的用户名。（修改完重启eclipse，不然可能不生效）2、将当前系统的帐号修改为hadoop3、使用HDFS的命令行接口修改相应目录的权限，hadoop fs -chmod 777 /user,后面的/user是要上传文件的路径，不同的情况
2015-10-17 20:34:40
1509
转载 Hadoop文件系统元数据fsimage和编辑日志edits
提到NameNode的$dfs.namenode.name.dir/current/文件夹的几个文件：1current/2|-- VERSION3|-- edits_*4|-- fsimage_00000
2015-10-10 09:39:06
503
转载 synchronized(class)、synchronized(this)与synchronized(object)的区别分析
JAVA中synchronized关键字能够作为函数的修饰符，也可作为函数内的语句，也就是平时说的同步方法和同步语句块。假如再细的分类，synchronized可作用于instance变量、object reference（对象引用）、static函数和class literals(类名称字面常量)身上。synchronized void f() { /* body */ } 和void f(
2015-10-08 12:01:20
3984
原创 java线程模拟生产者消费者问题
所谓的生产者消费者问题，就是存在生产者和消费者两个线程，当仓库还没满的时候，生产者可以生产，当仓库没空的时候，消费者可以取走商品。我们用实例说话：下面，我们创建几个类：1、消费者--主要负责消费商品2、生产者--负责生产商品3、仓库--存储商品，用一个变量表示仓库里面商品的数量。首先，我们先用一个程序来引出我们的话题：package com.huai.test;
2015-10-08 10:50:36
869
原创 线程同步问题分析
使用同步代码块或者同步方法。当一个对象Object 1在不同的线程中执行这个同步方法时，他们（同一个实例里的同步方法们）之间会形成互斥，达到同步的效果。但是这个对象所属的Class所产生的另一对象Object 2却能够任意调用这个被加了synchronized关键字的方法。我们用实例说话
2015-10-07 21:20:34
438
转载 java nio Selector (新IO)分析
Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。这样，一个单独的线程可以管理多个channel，从而管理多个网络连接。下面是本文所涉及到的主题列表：为什么使用Selector?Selector的创建向Selector注册通道SelectionKey通过Selector选择通道wakeUp()close()完整
2015-10-07 10:15:54
530
转载 spring InitializingBean接口分析
最近工作需要得到sping中的每个事物需要执行的sql，称机会简单研究了一下spring的事务，项目中管理事务比较简单，用TransactionTemplate，就直接以TransactionTemplate为入口开始学习。TransactionTemplate的源码如下：public class TransactionTemplate extends DefaultTransaction
2015-10-06 14:17:23
386
转载 Spring父子容器的关系分析--用实例说话
Spring中父子容器的实现实例Spring的父子容器可以通过ConfigurableApplicationContext或ConfigurableBeanFactory来实现，这两个接口中分别有setParent及setParentBeanFactory方法，可以与当前的子容器进行父子容器关联，这个时候子容器就可以引用父容器中的bean，但是父容器是不能够引用子容器中的bean的，并且各个子容器
2015-10-06 13:26:14
731
原创 一起学spring--spring事件机制--监听器
欢迎进入《一起学spring》系列博文第三篇，spring容器的事件监听机制，同样有事件、事件源和监听者。而spring中的事件需要继承ApplicationEvent，监听者需要继承ApplicationListener。其他的基本和普通的事件监听差不多。我们用示例说话！1、这是spring的ApplicationEvent类的源码，我们可以看到它继承了JDK中的EventObj
2015-10-05 13:14:03
2734
1
原创 自定义监听器 java
监听器，实际上是一个回调函数，具体一点就是当代码执行到某一行的时候就会调用你预先设置好的语句。这里我们有：监听者时刻监听着事件源，当有事件源的时候，监听者就会知道发生了什么事！相似的，警察是监听者，嫌疑犯所干的事是事件源，嫌疑犯干什么事，警察都知道。总体涉及到：事件、事件源（也就是事件的触发者，这里指嫌疑犯）、监听器（这里指警察）；相应地，我们写几个类或者接口：Event、
2015-10-04 21:58:07
4482
4
原创 一起学spring--依赖注入---简单粗暴的例子展示
欢迎进入《一起学spring》系列博文，我们接着上一篇博文'我的第一个spring程序--简单粗暴易懂'，我们讲到spring的依赖注入中的设值注入，所谓的设值注入，就是让spring容器使用setter方式来帮我们实例化相关对象，是相对“构造方法”注入来说的。我们还是采用对比的方式，用实例来说话。1、这是不用spring的情况：我们先来写两个类，具体见下面代码：package
2015-10-04 11:08:54
686
原创 一起学spring--我的第一个Spring程序，简单粗暴易懂
一、首先让我们来做一个对比：不使用spring和使用spring的区别1、首先是不使用spring的情况：创建一个Student对象，里面只有一个方法，用于打印信息。package com.huai.first;public class Student { public void printStudent(){ System.out.println("hello,
2015-10-04 10:14:35
692
本人的关于联邦学习的论文
2023-04-25
源码：zk-SNARKs实战：使用circom和snarkjs实现简单版的Tornado
2022-04-12
Project-battleship.zip
2021-05-06
my presentation on RDD & Spark.pptx
2020-10-25
TrInc, Small Trusted Hardware for Large Distributed Systems..pdf
2020-08-28
Confidentiality Support over Financial Grade consortium blockchain.pdf
2020-08-21
cryptography 1.zip
2020-04-18
images.zip
2019-12-13
ETCFlyClient.pptx
2019-11-18
Xu et al. - 2019 - Making Big Data Open in Edges A Resource-Efficien.pdf
2019-10-05
如何系统地写一篇好论文
2019-01-03
Mastering Apache Flink, Learning Apache Flink
2018-12-18
KDBC2018-Proceedings 该会议的所有论文
2018-10-23
File Structures_ An Object-Oriented Approach with C++(1997)
2018-06-15
resnet 50 training dataset，手势
2018-01-23
the colour image processing handbook SJ Sangwine ， REN Horne
2017-09-07
Jeff-Dean-s-Lecture-for-YC-AI
2017-08-28
protobuf2.6.1
2016-05-29
Spring框架的示例项目源码 Spring Petclinic
2015-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人