- 博客(82)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 开始比完成更加重要
一、开始比完成更重要开始一件事比完成它更重要，无论是事情复杂度的大小，因为一切的一切只有开始了才有了更多的可能性，否则只是空想。正如事物的发展规律，也都是具备周期性的，要想把一件事做好，那么首先它的得先开始，然后再就是如何步向下个阶段性目标。二、不开始谈何完美没有开始，浪费精力。我们听说过一句话，晚上思考千条路，早上起来走旧路。某种意义上代表了典型的一种空想带来的精力浪费，我们总是有很多想要做的事情在脑海中徘徊，在挣扎，但是一直都无法下定决心要试试，会带来很多的精力以及其他资源的浪费，.
2021-01-12 08:43:33
431
3
原创 关于链接
思考来自于：2020年7月19日 和LYJ吃饭聊出来的一、链接的背景？关键点在于和重要的事情建立链接，比如BAT、FLAG等企业的价值增长，再比如宏观大势走向利好。光看着他好，那又如何，和自己有什么关系？提供一个思路，与它建立链接。在生活中我们经常会看到一种现象，就是人们发现某些事物很好有蒸蒸日上的趋势，然后只是看着。也有可能发现一些不好的苗头，然而也只是看着而已，而后好与不好都看起来和自己没有关系，但是其实怎么可能会没关系呢？二、链接如何应用？比如说国计民生、营商环境..
2021-01-12 08:42:11
377
原创 关于无常
关于无常无常2020年很快就要过去了，整个一年给你的感觉是什么样的？恐慌？或是无奈 混乱，可能都有吧。有个词来形成看起来挺恰当，叫无常，是常的反义词。既意味着事物的非常态，也代指为一切世间万物终将变异，无常存者。无常道出一切皆不真实和不持久。也就是说，这一切终将也都会过去。我知道，在这个无常的时代里，很多个人和组织都受到了很大的影响，着实让人有些难受。从个人失业、企业破产或业绩大幅下滑、国家战乱甚至新冠疫情夺走了很多人的生命，截止到写这篇文章时，全世界逝去人数高达178.5万人，确诊人.
2021-01-12 08:38:33
258
转载 This howto guide shows you’ll how to enable EPEL repository under RHEL/CentOS 6/5 to install additio
This howto guide shows you’ll how to enable EPEL repository under RHEL/CentOS 6/5 to install additional standard open source packages by using YUM command.Install EPEL Repository in Linux
2016-01-21 20:13:08
907
原创 Linux - Virsh
virsh命令suspendresumedumpxml KVM平台以存储池的形式对存储进行统一管理，所谓存储池可以理解为本地目录、通过远端磁盘阵列（iSCSI、NFS）分配过来磁盘或目录，当然也支持各类分布式文件系统。存储池（Storage pools）是放置虚拟机的存储位置，可以是本地的，也可以是网络存储，具体的虚拟机实例放置在卷（Volume
2015-07-25 00:21:54
1368
原创 NFS安装和配置
------------------------------------------------------------------------------------------------------------------NFS就是Network File System的缩写，最早是由Sun公司发展开发出来的，它最大的功能就是可以通过网络，让不同计算机，不同操作系统，可以共享资源文件。用户和
2015-07-25 00:16:12
1140
原创 KVM 【SNAT/DNAT2种配置实现以及扁平化网络模式(flat)实现/virsh2种动态迁移实现】
-------------------------------------------------------------------------###KVM SNAT配置过程-------------------------------------------------------------------------#增加一个br0网桥(不跟任何网卡绑定)brctl addbr br0
2015-07-25 00:05:11
1659
原创 Vmware qemu-kvm 虚拟化测试
[root@kvm1 cloud]# lsmod | grep kvmkvm_intel 55496 3 kvm 337772 1 kvm_intel[root@kvm1 cloud]# egrep "(vmx|svm)" --color /proc/cpuinfo flags : fpu vme de
2015-07-24 23:58:13
1648
原创 Linux bridge-utils tunctl 使用
网络brctl是Linux下用来管理以太网桥，在内核中建立、维护、检查网桥配置的命令STP － Spanning Tree Protocol（生成树协议）逻辑上断开环路，防止二层网络的广播风暴的产生以dhcp模式启用 'eth0'在计算机网络中，TUN与TAP是操作系统内核中的虚拟网络设备。不同于普通靠硬件网路板卡实现的设备，这些虚拟的网络设备全部用软件实现，并向运行于操作系统上的软件提供
2015-07-24 23:50:09
4654
原创 03-类加载器
类加载器 类加载定义：通过一个类的全限定名来获取描述此类的二进制流来获取所需要的类的动作 类从被加载到虚拟机内存中开始，到卸载出内存生命周期分为以下7个阶段： 加载（Loading） -> 【验证(Verification) -> 准备(Preparation) -> 解析(Resolut
2015-07-24 23:46:01
735
原创 Unable to create a deployment for VM[User|i-2-6-VM]
错误：Unable to create a deployment for VM[User|i-2-6-VM]cloudstack添加实例时，host内存给小了。原来是4G，给它8G再添加就好了。
2015-07-21 22:46:06
3653
原创 02-Reference & GC
一、引用 Java中引用的定义很传统：如果reference类型的数据中存储的数值代表的是另外一块内存的起始地址，就称这块内存代表着一个引用。这个定义很纯粹，但是太过狭隘，一个对象在这种定义下只有被引用或者没有被引用两种状态，对于如何描述一些“食之无味弃之可惜”的对象就显得无能为力。我们希望能描述这样一类对象：当内存空间还足够时，则能保存在内存中；如果内存在进行垃圾收集后还是非常紧张
2015-07-16 19:17:03
786
原创 01-Jvm 内存区域复习笔记
Java内存区域 1.程序计数器(Program Counter Register) 在虚拟机中一块较小的内存空间，它的作用可以看做是当前线程所执行的字节码的行号指示器。 在虚拟机的概念模型里（仅是概念模型，各种虚拟机可能会通过一些更高效的方式去实现），字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指
2015-07-16 12:52:19
737
原创 Hadoop 2.4.1 搭建Ha遇到问题记录
15/06/19 17:12:44 ERROR namenode.FSNamesystem: FSNamesystem initialization failed.java.io.IOException: Invalid configuration: a shared edits dir must not be specified if HA is not enabled. // 明明我配置了H
2015-07-08 22:35:00
8749
原创 Spark 通讯模块 以及常用分布式通讯方式
Spark的Cluster Manager可以有Local、Standalone、Mesos、YARN等部署模式.常用分布式通信方式： 1. RPC(Remote Produce Call) RPC远程过程调用协议，基于C/S模型调用。过程大致可以理解为本地分布式对象向本机发送请求，不用自己编写底层通讯机制。通过网络向服务器发
2015-07-08 22:29:25
904
原创 spark 1.3.1 master 源码初探01
首先打开远程调试： 1.在spark/conf/spark-env.xml里面加入下列代码允许master远程调试 export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000" 2.IDE
2015-07-08 22:15:52
1109
原创 StormDRPC 概念以及简单例子测试
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。 DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语spout，bolt， topology而成的一种模式(pattern)。Storm
2015-07-08 22:10:31
3414
转载 ZooKeeper典型应用场景一览
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性，利
2015-06-25 22:40:12
590
原创 Zookeeper实现分布式锁
package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedE
2015-06-25 22:38:57
541
原创 Zookeeper实现服务上下线监控服务列表
package com.billstudy.zookeeper;import java.util.ArrayList;import java.util.List;import java.util.concurrent.TimeUnit;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.WatchedE
2015-06-25 22:37:24
1966
原创 MapReducer-找共同好友
package com.billstudy.mr.friends;import java.io.IOException;import java.util.Arrays;import java.util.concurrent.TimeUnit;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.
2015-06-25 22:31:04
727
转载 vim配置
runtime! debian.vim"设置编码set encoding=utf-8set fencs=utf-8,ucs-bom,shift-jis,gb18030,gbk,gb2312,cp936set fileencodings=utf-8,ucs-bom,chinese "语言设置set langmenu=zh_CN.UTF-8 "设置语法高亮syntax enable
2015-06-18 07:49:05
461
原创 Lvs + Ngnix + Haproxy + Keepalived + Tomcat 实现三种HA软负载均衡和Tomcat Session共享
环境准备：一、11台测试机器 hostname:v1 ~ v10 (10台测试机) ip:192.168.33.81(v1) ~ 192.168.33.90(v101) 由于在内网测试，需要搭建个内网yum源，方便安装软件。yum所在机器为192.168.33.101二、待实现功能 下面分别使用haprox
2015-06-09 21:50:14
2939
原创 HDFS写文件解析
client通过DistributedFileSystem对象调用create()方法创建文件，实际上通过RPC调用了NameNode的方法。NameNode收到client的请求之后，执行各种检查（1.确认要传文件目前在HDFS上不存在，2.client具有写的权限）如果通过则会为新文件创建一条记录,并返回一个FSDataOutputStream对象，该对象负责DataNode和NameNode
2015-06-02 22:46:40
701
转载 CentOS6.4配置163的yum源
CentOS系统自带的更新源的速度实在是慢，为了让CentOS6使用速度更快的YUM更新源，可以选择163（网易）的更新源。1.下载repo文件wget http://mirrors.163.com/.help/CentOS6-Base-163.repo2.备份并替换系统的repo文件[root@localhost ~]# cd /etc/yum.repos.d/[root
2015-06-02 22:45:35
518
原创 sqoop 和mysql相关操作
数据迁移工具,可以和RDBMS相互迁移数据需要先将db driver copy to sqoop lib dir注意： sqoop是以mapreduce的方式来运行任务的，用hdfs来存储数据的。所以依赖NameNode和ResourceManager，只要机器上配置了这两个就可以正常运行，程序运行时会自动读取环境变量.
2015-06-02 22:42:47
562
原创 HBase shell
进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row
2015-06-02 22:40:15
510
原创 hbase 概念 + 搭建分布式HA应用
HBase - Hadoop Databasehbase的设计思想来自于google的bigtable主键：Row Key主键是用来检索记录的主键，访问Hbase table 中的行，只有三种方式通过单个Row Key 访问通过Row Key 的range全表扫描列族：Column Family列族
2015-06-02 22:39:46
766
原创 hadoop版本与支持的hbase版本对照表
As of Hive 0.9.0 the HBase integration requires at least HBase 0.92, earlier versions of Hive were working with HBase 0.89/0.90以下内容来自下载的HBASE-0.94.7的book中（ $HBASE_HOME/docs/book/configuration.ht
2015-05-27 22:22:03
668
原创 UNIX 读书笔记01
标准输出流默认不能随着管道流下，可以使用如下脚本：ls n* 2> errors 2> 代表标准错误流的处理方式跟随标准输出流保持一致vim:1,$s/^/爱/ 给从第一行开始每行行头加上”爱“15,$s/$/爱 给从第15行开始每行行尾加上“爱”1,$s/[0-9]/*/g 将所有的数字替换成*1,$s/[^
2015-05-27 22:20:47
539
转载 Linux负载均衡集群之LVS原理
一、 LVS简介 LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了
2015-05-27 22:16:11
588
转载 四层和七层负载均衡
简单理解四层和七层负载均衡:①所谓四层就是基于IP+端口的负载均衡；七层就是基于URL等应用层信息的负载均衡；同理，还有基于MAC地址的二层负载均衡和基于IP地址的三层负载均衡。 换句换说，二层负载均衡会通过一个虚拟MAC地址接收请求，然后再分配到真实的MAC地址；三层负载均衡会通过一个虚拟IP地址接收请求，然后再分配到真实的IP地址；四层通过虚拟IP+端口接收请求，然后再分配到真实的服务器；
2015-05-27 22:15:07
470
原创 eclipse 远程调试hadoop代码
zxxJPDA 简介Sun Microsystem 的 Java Platform Debugger Architecture (JPDA) 技术是一个多层架构，使您能够在各种环境中轻松调试 Java 应用程序。JPDA 由两个接口（分别是 JVM Tool Interface 和 JDI）、一个协议（Java Debug Wire Protocol）和两个用于合并它们的软件组件（后端和前
2015-05-27 22:14:10
1193
原创 iptables 简单配置示例
iptables防火墙简介iptables/netfilter是Linux下自带的一款免费且优秀的基于包过滤的防火墙工具，它的功能十分强大，使用非常灵活，可以对流入、流出、流经服务器的数据包进行精细的控制。iptables是Linux2.4及2.6内核中集成的模块。防火墙果汁的执行顺序默认是从前到后依次执行，遇到匹配的规则就不在继续向下检查，若果遇到不匹配的
2015-05-27 22:12:43
1124
原创 haproxy + keepalived 实现简单负载均衡高可靠
ip addr add 192.168.50.50/24 dev etho 添加辅助ip ip addr del 192.168.50.50/24 dev etho 删除辅助ip 脑裂：某种原因导致集群各节点之间无法通讯，各自都为master或者slavekillall -0 haproxy 不杀死进程，只是用作检测。
2015-05-27 22:11:06
878
原创 HDFS读取文件步骤
client调用FileSystem.open(),该FileSystem指向的实例是DistrbutedFileSystem（DFS），它通过RPC请求到Namenode.Namenode收到请求后，对于每一个块返回存有该副本的Datanode地址。并且依照“网络拓扑”来排序。（就近原则）DFS获取到BlockLocations后，可以根据当前读取偏移量计算指定DataNode并进行通讯，返
2015-05-27 22:08:44
1555
转载 洞悉linux下的Netfilter&iptables：什么是Netfilter？
本人研究linux的防火墙系统也有一段时间了，由于近来涉及到的工作比较纷杂，久而久之怕生熟了。趁有时间，好好把这方面的东西总结一番。一来是给自己做个沉淀，二来也欢迎这方面比较牛的前辈给小弟予以指点，共同学习，共同进步。 能在CU上混的人绝非等闲之辈。因此，小弟这里说明一下：本系列博文主要侧重于分析Netfilter的实现机制，原理和设计思想层面的东西，同时从用户态的iptables到内核
2015-05-17 22:01:43
415
转载 linux平台下防火墙iptables原理(转)
iptables简介 netfilter/iptables（简称为iptables）组成Linux平台下的包过滤防火墙，与大多数的Linux软件一样，这个包过滤防火墙是免费的，它可以代替昂贵的商业防火墙解决方案，完成封包过滤、封包重定向和网络地址转换（NAT）等功能。iptables基础 规则（rules）其实就是网络管理员预定义的条件，规则一般的定义为“如
2015-05-17 21:51:18
437
转载 SC命令使用(创建window服务等)
//1 sc语法作为一个命令行工具，SC.exe可以用来测试你自己的系统，你可以设置一个批处理文件来使用不同的参数调用 SC.exe来控制服务。这个很有用，如果你想看看你的服务不断的启动和停止，我没有试过哦！让一个服务一下子 打开，一下子关闭，听上去很不错的。如果你的服务进程里面有多个进程的话，你可以保持一个进程继续运行不 让它走开，然后让另一个不断的打开在关闭，还可以寻找一下内存缺乏导致
2015-05-05 10:21:55
2606
原创 Java mongodb System.js 应用
近期遇到了一个比较麻烦的查询，就想用mongodb system.js实现，有点类似关系型数据库的存储过程的味道。下面是mongodb脚本和java 调用部分代码：
2015-04-21 12:01:45
1792
Scala详细总结(精辟版++).docx
2015-06-30
Editplus-v3.41bulid1115.exe
2015-01-13
算法文档,来看看吧
2015-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人