2018年08月_程序猿渣渣帅

原创 Mysql复制表结构和表数据的常见方法

INSERT INTO 数据库B.`表名b` SELECT * FROM 数据库A.`表名a`将数据库A中的表a的数据导入到数据库B中的表b中。1、复制表结构及数据到新表CREATE TABLE 新表 SELECT * FROM 旧表CREATE TABLE dept3 SELECT * FROM dept;这种方法会将oldtable中所有的内容都拷贝过来，当然我们可以用delet...

2018-08-31 18:06:02 357

原创 Hadoop整体概述

目录前言core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml一、HDFSHDFS的设计理念HDFS的缺点1、NameNode1.1、namenode的作用1.2、元数据目录说明1.3、NameNode启动2、Secondary NameNode 3、数据存储细节4、DataN...

2018-08-29 20:51:05 5206

原创 Hadoop2.x HDFS源码剖析---概述

一、HDFS概述基于hadoop2.6HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。特点：高容错和高吞吐量、易扩展、高可靠性HDFS的四个核心模块：namenode节点、datanode节点、客户端、HDFS协议（RPC协议、流式接口协议:HTTP和TCP）基本概念1、数据块（block）数据块是HDFS文件处理（读和写）的最小单元，...

2018-08-28 23:49:59 6571

原创 Hadoop概念知识点整理

1.HDFS数据存放策略分块存储+副本存放。2.数据拓扑结构（即数据备份）默认存放3份，可以通过修改配置文件hdfs-site.xml修改备份数量，如果本机在集群中，第一份就会存放到本节点即本机上，如果不在集群中，就通过负载均衡存放到一个相应的随机节点上，第二份存放在同机柜的不同节点上，第三份存放在不同机柜的某个节点上。备注：备份3的含义是一共只有三份数据3.数据查找就近原则，先...

2018-08-28 21:03:55 842

原创 Hadoop常见的shell命令

目录一、Hadoop 命令1、查看Hadoop的版本2、查看Hadoop命令的格式 2.1、压缩文件archive2.2、在两个HDFS之间拷贝数据（hadoop distcp）3、通过Hadoop fs 查看HDFS的格式二、hdfs命令1、查看hdfs的版本2、查看hdfs命令的格式 3、管理员操作命令hdfs dfsadmin...

2018-08-28 20:56:18 2685

原创基于NOI的Reactor设计模式

目录一、reactor设计模式简介1、在Reactor模式中，有5个关键的参与者1）、描述符（handle）2）、同步事件分离器（demultiplexer）3）、事件处理器接口（event handler）4）、具体的事件处理器5）、Reactor 管理器（reactor）2、运行流程3、总结4、具体模型分类5、基于NIO 服务端创建Reactor设计...

2018-08-27 20:56:04 444

原创 Hadoop---hdfs基础

目录1、设计前提与目标2、HDFS的体系结构1）、HDFS的读操作2）、HDFS的写操作3、保障HDFS的可靠性措施4、HDFS常用Shell操作5、使用Java API操作HDFSHDFS（Hadoop Distributed File System，Hadoop分布式文件系统）是分布式计算中数据存储管理的基础。它所具有的高容错、高可靠、高可扩展性、高吞吐率等特性...

2018-08-27 00:37:31 377

原创 hadoop概念和版本问题

1、Hadoop概念Hadoop：适合大数据的分布式存储和计算平台它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。Hadoop1.x中包括两个核心组件：MapReduce和Hadoop Distributed File System(HDFS) HDFS为海量的数据提供了存储，则MapReduce为海量的数据提...

2018-08-26 23:58:17 229

原创亿级流量网站架构核心技术---高可用设计原则

亿级流量网站架构核心技术---高可用设计原则目录一、负载均衡与反向代理二、隔离术1、线程隔离2、进程隔离3、集群隔离4、机房隔离5、读写隔离6、动静隔离7、爬虫隔离8、热点隔离9、资源隔离10、使用Hystrix实现隔离11、基于Servlet3实现请求隔离三、限流详解1、限流算法1）、令牌桶算法2）、漏桶算法3）、令牌桶...

2018-08-25 23:29:13 977

原创亿级流量网站架构核心技术---设计的基本原则

目录1、高并发原则2、高可用原则3、业务设计原则高并发、高可用系统设计的基本原则1、高并发原则系统无状态，便于系统水平扩容；拆分和服务化系统模块；消息队列，解耦系统、异步、限流；数据异构；缓存，设计多级缓存，减少到达后端服务器的流量；并发处理业务逻辑，降低系统的响应时间；2、高可用原则服务降级，在面对高负载时，避免把系统压垮，把一些非核心模块进行服务降级，...

2018-08-25 12:07:45 329

原创 Mysql的日志解析

目录一、MySQL日志的分类1、错误日志（必须开启，无法关闭）2、普通日志（默认关闭）3、慢查询日志（默认关闭）4、二进制日志（默认关闭）5、中继日志6、事务日志二、二进制日志的查看1、show binlog2、mysqlbinlog一、MySQL日志的分类查看MySQL中和日志相关的参数：mysql> SHOW VARIABLES LI...

2018-08-21 00:13:21 331

原创 java性能优化权威指南--垃圾收集器入门

目录1、垃圾收集器概述1）、分代垃圾收集器2）、GC算法3）、选择GC算法2、GC调优基础1）、调整堆大小2）、代空间的调整3）、永久代和元空间的调整4）、控制并发5）、自适应调整3、垃圾回收工具五、垃圾收集器入门page81-page102主流的四个垃圾收集器：Serial收集器（常用于单CPU环境）throughput（或者parall...

2018-08-21 00:06:31 439

原创 java性能优化权威指南---即时编译器（Just-in-time,JIT）

目录1、JIT编译器概览2、调优入门：选择编译器类型（client、server或者两者同时使用）1）、优化启动2）、优化批处理3）、优化长时间运行的应用3、java和JIT编译器版本4、编译器中级调优1）、调优代码缓存2）、编译阈值3）、检测编译过程5、高级编译器调优1）、编译线程2）、内联（默认开启，-XX:+PrintInling）3）...

2018-08-19 22:48:45 1776

原创 java性能优化权威指南---java性能调优工具

目录 1、操作系统的工具和分析1）CPU使用率（vmstat） 2）磁盘使用率（iostat）3）、网络使用率（netstat）2、java监控工具jcm 命令demojinfo 实例demo 3、性能分析工具4、java任务控制（暂时跳过，后续再看）1、操作系统的工具和分析Unix上，sar（system accounting report） ...

2018-08-19 15:47:42 2045

原创 top命令解析

top命令可以实时动态地查看系统的整体运行情况，是一个综合了多方信息监测系统性能和运行信息的实用工具。通过top命令所提供的互动式界面，用热键可以管理。top --h top: procps version 3.2.8usage: top -hv | -abcHimMsS -d delay -n iterations [-u user | -U user] -p pid [,pi...

2018-08-19 11:21:38 900

ps命令用于报告当前系统的进程状态。可以搭配kill指令随时中断、删除不必要的程序。ps命令是最基本同时也是非常强大的进程查看命令，使用该命令可以确定有哪些进程正在运行和运行的状态、进程是否结束、进程有没有僵死、哪些进程占用了过多的资源等等，总之大部分信息都是可以通过执行该命令得到的。备注：ps是显示瞬间进程的状态，并不动态连续；如果想对进程进行实时监控应该用top命令。语法ps(选项)选项...

2018-08-19 11:07:47 4453 1

原创查看进程jps命令解析

一、简介jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。注：jps命令有个地方很不好，似乎只能显示当前用户的java进程，要显示其他用户的还是只能用unix/linux的ps命令。二、命令使用查看使...

2018-08-19 10:43:18 15754

原创 Mycat原理解析

Mycat数据库分库分表中间件MYCAT架构典型的应用场景 1、单纯的读写分离，此时配置最为简单，支持读写分离，主从切换；2、分表分库，对于超过1000万的表进行分片，最大支持1000亿的单表分片；3、多租户应用，每个应用一个库，但应用程序只连接Mycat，从而不改造程序本身，实现多租户化；4、报表系统，借助于Mycat的分表能力，处理大规模报表的统计；5、替代Hbase，...

2018-08-18 23:46:59 4655 1

原创如何解决MySQL的跨库查询问题

目录一、基于MySQL的federated引擎的建表方式二、通过Mycat数据库分库分表中间件一、基于MySQL的federated引擎的建表方式解决方案：在机器A上的数据库A中建一个表B（其实这个快捷方式）这当然不是跟你开玩笑啦，我们采用的是基于MySQL的federated引擎的建表方式。建表语句示例：CREATE TABLE `table_name`(......) EN...

2018-08-18 23:32:01 5755

原创 MySQL数据库事务的四大特性以及事务的隔离级别

目录一、事务的四大特性（ACID）1、原子性（Atomicity）2、一致性（Consistency）3、隔离性（Isolation）4、持久性（Durability）二、事务的隔离级别（默认事务级别为可重复读）MySQL数据库的四种事务隔离级别Read Uncommitted（读取未提交内容）Read Committed（读取提交内容）Repeatable...

2018-08-18 23:16:11 71963 12

转载网络使用率netstat命令解析

netstat命令用来打印Linux中网络系统的状态信息，可让你得知整个Linux系统的网络情况。netstat --husage: netstat [-veenNcCF] [<Af>] -r netstat {-V|--version|-h|--help} netstat [-vnNcaeol] [<Socket> ...] ...

2018-08-18 21:25:41 671

原创磁盘使用率查看iostat命令解析

iostat命令被用于监视系统输入输出设备和CPU的使用情况。它的特点是汇报磁盘活动统计情况，同时也会汇报出CPU使用情况。同vmstat一样，iostat也有一个弱点，就是它不能对某个进程进行深入分析，仅对系统的整体情况进行分析。iostat --h用法: iostat [ 选项 ] [ <时间间隔> [ <次数> ] ]Options are:[ -c ] [ ...

2018-08-18 20:56:19 6167

原创 CPU使用率查看vmstat命令解析

vmstat命令的含义为显示虚拟内存状态（“Viryual Memor Statics”），但是它可以报告关于进程、内存、I/O等系统整体运行状态。vmstat --h 查看命令的使用方式usage: vmstat [-V] [-n] [delay [count]] -V prints version. -n causes the he...

2018-08-18 20:25:40 3389

原创查看服务器CPU的个数、CPU的核数、多核超线程数

这里有几个概念：1、一台物理机的物理CPU的个数2、一个CPU上的核数3、一个核上面支持的线程数有下面的计算公式：# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看CPU信息（型号）cat /proc/cpuinfo | grep name | cut -f2 -d: | u...

2018-08-18 18:42:53 31893

原创 java性能优化权威指南---性能测试

目录一、性能测试的4项原则原则一、应该在产品实际使用的环境中进行性能测试原则二、理解批处理流逝时间、吞吐量和响应时间原则三、用统计方法应对性能的变化（没看明白？？？）原则四、尽早频繁测试二、性能测试的简单三分类 1、微基准测试2、宏基准测试（测试全应用） 3、介基准测试一、性能测试的4项原则原则一、应该在产品实际使用的环境中进行性能测试原则二、理解批...

2018-08-18 16:57:11 357

原创 java性能优化权威指南---简介

目录本书的主要内容第一章主要内容一、jvm调优的标志二、client和server类虚拟机三、全面的性能调优方法本书的主要内容基于JDK7的HotSpot JVM 第二章、测试java应用的通用方法以及java基准测试的陷阱、可视化的性能分析第三章、监控java的一些工具调优的主题：JIT编译（第四章）和垃圾收集（第五、六章） java平台个方面的最佳实践：...

2018-08-18 11:28:03 205

原创 Shell的grep命令

目录1、grep --h查看命令的使用方式2、简单实例3、正则用法4、其它家族egrep和fgrepgrep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。grep在数据中查找出一个字符串时，是以整行为单位来进行数据选取的。grep是linux中很常用的一个命令，主要功能就是进行字符串数据的对比，能使用正则表...

2018-08-17 20:57:32 707

原创 OSI七层协议模型、TCP/IP四层模型

目录一、OSI七层和TCP/IP四层模型对比二、OSI七层协议模型三、TCP/IP四层模型一、OSI七层和TCP/IP四层模型对比1、OSI引入了服务、接口、协议、分层的概念，TCP/IP借鉴了OSI的这些概念建立TCP/IP模型。2、OSI先有模型，后有协议，先有标准，后进行实践；而TCP/IP则相反，先有协议和应用再提出了模型，且是参照的OSI模型。3、OSI是一种理...

2018-08-17 20:38:17 650

原创 TCP之三次握手四次挥手解析

目录一、TCP报文格式二、字段分析三、三次握手四、四次挥手一、TCP报文格式TCP提供一种面向连接的，可靠的字节流服务。TCP首部的数据格式如下。（如果不计任选字段，通常是20个字节）二、字段分析源端口：源端口和IP地址的作用是标识报文的返回地址。目的端口：端口指明接收方计算机上的应用程序接口。TCP报头中的源端口号和目的端口号同IP数据报中的源I...

2018-08-17 20:37:18 146

原创 Shell脚本awk解析

目录一．基本介绍二．print的简单使用三．printf的使用四．awk的使用（1）正则表达式（2）关系运算符（3）逻辑运算符（4）算数运算符（5）BEGIN END五．awk里的流控制和循环（1）简单的条件判断（2）if判断（3）、循环while(4)、for循环（5）awk数组(6）函数AWK是一个优良的文本处理工具，Lin...

2018-08-17 20:33:11 2249

原创 shell中的date使用

首先看个demostartdate=`date -d "$1" +%Y%m%d`enddate=`date -d "$2" +%Y%m%d`把脚本输入吧参数的第一个参数格式化后赋值给startdate（20180816），第二个参数给enddate（20180816）备注：在脚本中需要用``把内容封装起来，在shell命令行下可以直接输出date --h查看使用方式用法：date [...

2018-08-17 18:33:00 1022

原创从hive数据表查询数据导入到mysql的一般步骤

1、hive执行查询把数据保存到本地的文件中hive_sql="SELECT * from table1 "hive -i $base/init.sql -e "$hive_sql" > $base/date.data - i 引入hive查询参数的设置，map、reduce的个数，数据库的选择等； - e 执行写好的select查询2、把从hive中查询出来的数据导入到MyS...

2018-08-17 18:21:39 5387

原创 Java对象头

Hotspot虚拟机的对象头主要包括两部分数据：Mark Word（标记字段）、Klass Pointer（类型指针）。其中Klass Point是是对象指向它的类元数据的指针，虚拟机通过这个指针来确定这个对象是哪个类的实例，Mark Word用于存储对象自身的运行时数据，它是实现轻量级锁和偏向锁的关键。Mark Word用于存储对象自身的运行时数据，如哈希码（HashCode）、GC分代年龄...

2018-08-16 23:11:52 559

原创 Monitor

什么是Monitor？我们可以把它理解为一个同步工具，也可以描述为一种同步机制，它通常被描述为一个对象。与一切皆对象一样，所有的Java对象是天生的Monitor，每一个Java对象都有成为Monitor的潜质，因为在Java的设计中，每一个Java对象自打娘胎里出来就带了一把看不见的锁，它叫做内部锁或者Monitor锁。 Monitor 是线程私有的数据结构，每一个线程都有一个可用monit...

2018-08-16 23:11:29 3965

原创 Java内存模型之重排序

在执行程序时，为了提供性能，处理器和编译器常常会对指令进行重排序，但是不能随意重排序，不是你想怎么排序就怎么排序，它需要满足以下两个条件：在单线程环境下不能改变程序运行的结果；存在数据依赖关系的不允许重排序其实这两点可以归结于一点：无法通过happens-before原则推导出来的，JMM允许任意的排序。1、as-if-serial语义as-if-serial语义的意思是，所有的操...

2018-08-16 23:11:14 135

原创 Shell脚本中$X的含义

一、变量说明$$Shell本身的PID（ProcessID）$!Shell最后运行的后台Process的PID$?最后运行的命令的结束代码（返回值）$-使用Set命令设定的Flag一览$*所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。$@所有参数列表。如"$@"用「"」括起来的情况、以"$1" "$2" … &quot

2018-08-16 23:10:49 6992

原创 shell脚本if elif fi的使用

demo 接收一个参数sh testif.sh 1#! /bin/bashset -e base=.type=$1if [ ! $type ]then echo "type is null"elif [ $type -eq 0 ]then echo "type is 0"elif [ $type -eq 1 ] then echo "type ...

2018-08-16 23:09:52 17474

原创 shell脚本中 “set -e” 的作用

-----------------------------------------------------------#!/bin/bashset -ecommand 1command 2...exit 0----------------------------------------------------------你写的每个脚本都应该在文件开头加上set -e,这句语句...

2018-08-16 23:09:27 60623 2

原创 shell 中 [-eq] [-ne] [-gt] [-lt] [ge] [le]

-eq //等于-ne //不等于-gt //大于-lt //小于ge //大于等于le //小于等于

2018-08-16 23:09:18 171

原创 shell启动脚本中的0、1、2、>和&解析

目录一、0 1 2 文件描述符二、>是重定向符，就是把前面输出的内容重定向到后面指定的位置三、& 是一个描述符，如果1或2前不加&，会被当成一个普通文件nohup sh gmv.sh >ls.txt 2>&1 & 后台运行脚本的一般格式，并且把日志（正常日志和错误日志）输出到ls.txt中tail -f ls.txt可以动态查...

2018-08-15 20:44:04 11708

空空如也

空空如也