- 博客(243)
- 收藏
- 关注
RSS订阅原创 Bash脚本：下载编译安装nginx
下载nginx-1.8.1.tar.gz, 安装到目录/usr/local/nginx #!/bin/bashyum -y install wget pcre-devel openssl openssl-devel libtool gcc automake autoconf libtool makewget http://nginx.org/download/nginx-1.8...
2017-05-03 14:59:08
201
原创 bash脚本： 监控Tomcat
#!/bin/bash############################################################################################################################################################################...
2017-05-03 11:31:36
214
原创 Avro RPC的两种实现方法：静态实现和动态实现
使用Avro可实现如下几种方式的轻量级RPC， 每种方式都可用动态编码和静态编码来实现：HTTP：HttpServerHttpTransceiver UDPDatagramServerDatagramTransceiver NettyNettyServerNettyTransceiver TCPSocketServerSocketTr...
2017-04-28 15:28:01
511
原创 乐观锁与悲观锁
悲观锁悲观锁的实现，往往依靠数据库提供的锁机制 （也只有数据库层提供的锁机制才能真正保证数据访问的排他性，否则，即使在本系统中实现了加锁机制，也无法保证外部系统不会修改数据）在对任意记录进行修改前，先尝试为该记录加上排他锁（exclusive locking）。如果加锁失败，说明该记录正在被修改，那么当前查询可能要等待或者抛出异常。 具体响应方式由开发者根据实际需要决定。...
2017-04-27 20:41:04
131
原创 Protobuf 简介
1. 下载编译文件：protoc-2.6.0-win32.ziphttps://sourceforge.net/projects/protobuf/?source=typ_redirect 2. 导入开发包<dependency><groupId>com.google.protobuf</groupId><artifact...
2017-04-25 14:39:09
148
原创 Avro序列化的两种实现方法：静态实现和动态实现
Avro 特点：1. 丰富的数据结构2. 紧凑、快速、二进制数据格式3. 容器文件，持久化数据4. 支持RPC5. 代码生成是可选的，便于和动态语言进行整合 Avro 与 Thrift、Protobuf 对比：1. Dynamic typing: Avro does not require that code be generated. Data is alw...
2017-04-24 17:55:00
400
原创 循环语句 for while until
for i in /etc/lock/subsys/* ; do #获取/etc/lock/subsys/下所有文件 ...done
2017-04-21 10:02:00
212
原创 几种序列化的实现方法 java自带, Writable, Avro
package org.hdp.practice.serial;import java.io.DataInputStream;import java.io.DataOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;imp...
2017-04-19 16:05:19
165
原创 SQL2008无法启动,报错"17051"怎么解决
SQL2008无法启动,这是错误日志：C:/Program Files/Microsoft SQL Server/MSSQL10_50.MSSQLSERVER/MSSQL/Log2011-06-01 12:16:35.44 Server Error: 17051, Severity: 16, State: 1.2011-06-01 12:16:35.44 Server SQL...
2017-04-17 16:28:07
560
原创 股票： 限售股
查看方式：年报中的“普通股股份变动及股东情况” 辩证看待限售股：1. 公司股价较低时，限售期过后恰恰是逢低买入的机会2. 限售期前一段时间比较危险...
2017-04-15 18:53:40
174
原创 股票： 利润分配 或 公积金转增股本
利润分配 或 公积金转增股本 简称全称税收除权后价格公式 预判指标 10送10股利润送红股新增股份收10%税登记日收盘价/(1+每1股送股票数) 每股未分配利润 10转10股公积金转增股本公积金不是公司利润，不收税登记日收盘价/(1+每1股送股票数) 每股资本公积金 10派5...
2017-04-15 17:05:17
673
原创 Linux echo命令详解
-n: 不进行换行；-e：激活转义字符。使用-e选项时，若字符串中出现以下字符，则特别加以处理，而不会将它当成一般文字输出：\a 发出警告声；\b 删除前一个字符；\c 最后不加上换行符号；\f 换行但光标仍旧停留在原来的位置；\n 换行且光标移至行首；\r 光标移至行首，但不换行；（服务器脚本的输出经常用这个实现） 使用echo输出带颜色的文本，...
2017-04-14 15:39:38
289
原创 Linux 好用shell脚本集合
LogScrolling.sh#!/bin/bashcp /var/jfb/log/nginx/access_log.log /var/jfb/log/nginx/access_log_`date -d '-1 day' +%Y-%m-%d`.logecho "" > /var/jfb/log/nginx/access_log.log Acces...
2017-04-14 15:38:52
159
原创 Linux 内存 CPU 磁盘 网络流量的监控
内存： free 命令free命令由procps.*.rpm提供（在Redhat系列的OS上）, free命令的所有输出值都是从/proc/meminfo中读出的。 1 2 3 4 5 6 total used...
2017-04-14 11:12:02
222
原创 盈透出金正确姿势
1. 一定要一定要选择火狐浏览器 2. 登录 https://www.ibkr.com.cn/sso/Login 3. 进入 资金 - 资金转账建设银行有两个swift账户，都可以使用，一般使用第一个Institution name CHINA CONSTRUCTION BANK CORPORATIONBIC PCBCCNBJSZXBranch name (SH...
2017-04-13 18:12:08
1486
原创 Linux 设置发送qq邮件
操作系统：centos 6.8 1. 安装mailxyum install mail 2. 配置SMTPvi /etc/mail.rcset from=***@qq.comset smtp-auth-user=***@qq.comset smtp-auth-password=igsre***set smtp-auth=login set ssl-...
2017-04-13 16:44:54
1070
原创 Java IO 和 NIO 分别实现简单的Socket
java IO 实现的socketpublic class MyServerSocket { public static void main(String[] args) throws Exception{ ServerSocket ss = new ServerSocket(8888); Socket s = ss.accept(); System.out...
2017-04-11 16:59:20
104
原创 Java NIO
CapacityA buffer's capacity is the number of elements it contains. The capacity of a buffer is never negative and never changes. LimitA buffer's limit is the index of the first elemen...
2017-04-09 16:36:30
102
原创 Federation 简介
HDFS的局限性（HDFS只有一个active的namenode）：1. 在name中存储所有的元数据（metadata），因此单个namenode所能存储的对象（块+文件）数据受到namenode所在JVM的heap size的限制。2. 整个HDFS文件系统的吞吐量受限于单个namenode的吞吐量3. 无法隔离namespace Federation HDFS ...
2017-04-09 14:26:55
522
原创 Yarn HA高可用配置
yarn-site.xml<property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value></property><property> <name>yarn.reso
2017-04-09 13:45:50
183
原创 Hadoop HA高可用配置
【注：文中配置未实际验证】 一） 配置：修改hdfs-site.xml1. dfs.nameservices - the logical name for this new nameserviceNote: If you are also using HDFS Federation, this configuration setting should also i...
2017-04-09 13:04:47
123
原创 Hbase 性能优化
1. 垃圾回收优化用户可以通过向hbase-env.sh文件中添加HBASE_OPTS或者HBASE_REGIONSERVER_OPT来设置垃圾回收相关选项，后者仅仅影响region服务器进程，也是推荐的修改方式。增加新生代大小, 减小新生代垃圾回收次数-XX:MaxNewSize=8g -XX:NewSize=8g 修改垃圾回收策略-XX:+UseParNew...
2017-04-07 16:42:59
165
原创 JVM 结构及垃圾回收
Runtime Data Area 运行时数据区1. method area 线程共享存放已被虚拟机加载的类信息、常量、静态变量、即时编译后的代码等信息。多个线程同时加载一个类时，只有一个会请求Class Loader加载，另一个会等待。 MetaSpace 元数据空间从JDK1.8 开始method area被metaspace完全取代。metaspace使用本地内...
2017-04-06 13:34:34
95
原创 hbase 管理工具
split 拆分merge_region 合并分区 flush 将memstore中的数据强制写入磁盘 hbase> flush 'TABLENAME' hbase> flush 'REGIONNAME' hbase> flush 'ENCODE_REGIONNAME'move将region移动到一个指定的region server， 或者移动到一个随机的regi...
2017-04-02 17:20:23
481
原创 Hbase counter计数器
创建表名和列族名create 't1','cf' 初始化counter为1 或 让counter+1incr 't1','row1','cf:no',1 获取counterget 't1','row1','cf:no' 获取counterget_counter 't1','row1','cf:no' @Test public void te...
2017-04-02 12:40:41
267
原创 bash编程之 crontab 定时任务
crontab 定时任务# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# | | .---------- day of month (1 - 31)# | | | .------- month (1 - 12) OR ...
2017-03-30 09:16:11
216
原创 bash编程之 find文件查找工具
find 文件查找工具，通过遍历指定路径下的文件系统完成查找，速度慢，但执行精确查找； 语法：find [OPTIONS] [查找路径] [查找条件] [处理动作]查找路径：默认为当前目录查找条件：默示查找所有文件处理动作：显示至屏幕 1 查找条件：1.1 根据文件名字查找：-name “文件名称”: 支持使用globbing元字符 *, ?, [], [^]...
2017-03-30 09:13:54
197
原创 bash编程之 第六课作业
1、脚本使用格式：mkscript.sh [-D|--description "script description"] [-A|--author "script author"] 文件名2、如果文件事先不存在，则创建；且前几行内容如下所示：#!/bin/bash# Description: script description# Author: script author...
2017-03-25 18:29:47
67
原创 bash编程之 字符串操作
字符串切片：${var:offset:lenth}a="world", ${a:2:2}, rl 取字符串最后的几个字符：${var: -lenth}注意：冒号之后有空格； 基于模式取子串：${var#*word}：其中word可以是指定的任意字符；自左而右，查找var变量所存储字符中，第一次出现的word，删除字符开头直至第一次wrod出现处之间的所有字符；m...
2017-03-25 15:58:42
105
原创 bash编程之 函数
函数：代码复用 模块编程语法： function f_name { 函数体 } f_name() { 函数体 } 调用：使用函数名函数名出现的地方，会被自动替换为函数代码； 练习：利用函数改写此前的服务脚本： #!/bin/bash # prog=`basename $0` lockfile=/var/lock/su...
2017-03-24 15:47:46
142
原创 bash编程之 数组
数组：连续的多个独立内存空间，每个内存空间相当于一个变量数组元素：数组名+索引索引：从0开始编号 声明普通数组：以数字为索引值declare -a ARRAR_NAME支持稀疏格式：索引值可以不连续例如：# declare -a t1# t1[0]="sss"# echo ${t1[0]}# t1[3]="eee"# echo ${t1[3]}...
2017-03-24 15:41:35
154
原创 bash编程之 小技巧
管道：将一个命令的输出作为一个命令的输入只会重定向正确的输出信息> ：覆盖重定向>> ：追加重定向 不管是错误还是正确的输出信息都会重定向&>&>> 只重定向错误信息2>2>> bash中三种引用：1. ""：弱引用test ="aaaaa&qu
2017-03-24 15:28:51
111
原创 bash编程之 条件判断
条件测试：[ EXPRESSION ][[ EXPRESSION ]] 如果使用[]出现语法错误，请立即改为[[]]COMMAND 测试表达式：(1) 整数测试; (2) 字符串测试；(3) 文件测试 整数测试：A, BA -gt B: 大于A -ge B: 大于等于A -eq B: 等于A -lt B: 小于A -le B: 小于...
2017-03-24 15:10:55
298
原创 bash编程之 If和Case语句
if条件测试语法：单分支： if CONDITION; then CMD1 CMD2 ... fi test.sh #!/bin/bash shuzhi=$1 if [ $[$shuzhi%2] -eq 0 ];then echo $shuzhi fi 例如：传递一个参数给脚本，而后以此参数...
2017-03-24 14:35:14
204
原创 bash编程之 shell基本语法
脚本程序：解释器解释执行；shell: 交互式接口；编程环境；shell: 能够提供一些内部命令，并且能通过PATH环境变量找到外部命令；把命令提交给内核启动为进程；过程式的编程语言的元素：变量、流程、函数、数组 变量：局部变量、本地变量、环境变量、位置参数变量、特殊变量变量：数值型：整型、浮点型、布尔型字符型：字符串 bash变量是弱类型；默认字...
2017-03-23 22:11:28
101
原创 C# 访问Http
using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.IO;using System.Net;namespace Utility{ /// <summary> /// 通过Http协议访问Web...
2017-03-22 09:11:31
211
原创 Hbase原子性操作
1. 使用检查写（check and put）可以保证操作的原子性。即执行put前先检查数值是否与提供的value一致，如果检查通过就执行put，否则就放弃。如果需要put前该字段值不存在，将value设置成null即可。 @Test public void testCheckPut() throws Exception{ Table table = conn.getTable(...
2017-03-16 10:07:45
517
原创 Hbase API操作优化
一. put 优化Hbase的API配备了一个客户端的写缓冲区（write buffer），缓冲区负责收集put操作，然后调用PRC操作一次性将put送往服务器。默认情况下写缓冲区是禁用的，可以调用table.setAutoFlush(false)来激活缓冲区： @Test public void testWriteBuffer() throws Exception{ HT...
2017-03-15 17:23:24
142
原创 bash编程之 awk格式化输出
awk命令： Linux文本处理三剑客：grep sed awkawk gawk: 报表生成器，格式化文本输出 基本用法：gawk [options] 'program' file file ...其中program格式为: PATTERN{ACTION_STATEMENT}，ACTION_STATEMENT由语句组成，语句分隔符是;其中ACTION包含:...
2017-03-10 17:57:46
487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人