- 博客(389)
- 收藏
- 关注
RSS订阅转载 IntelliJ IDEA 配置 Hadoop 源码阅读环境
1、下载安装IDEAhttps://www.jetbrains.com/idea/download/#section=windows2、下载hadoop源码https://archive.apache.org/dist/hadoop/core/3、使用IDEA打开hadoop源码4、配置自定义Maven配置文件file -> setting -> 如下...
2019-09-02 17:56:00
1179
转载 mount挂载相关指令
最近需要重新挂载一块数据盘，增加挂载设置，遇到一些问题做下记录。step1：df -h 或 lsblk 查看分区挂载和对应挂载的目录/dev/xxx /datastep2：umount /dev/xxx 时发现有文件占用step3：使用 lsof /data 查看什么进程正在占用此目录停止相应进程step4：增加挂载参数进行挂载（看情...
2019-07-18 15:52:00
366
转载 TiDB配置HAProxy负载均衡
1、简介HAProxy是一个C语言编写的免费的负载均衡软件，可以运行于大部分主流的Linux操作系统上。HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力，具备丰富的功能。2、配置使用2.1、下载安装https://www.haproxy.org/download/1.9/src/此处使用的是1.9版本解压安装：tar -xzf ha...
2019-05-28 16:08:00
749
转载 NewSQL 介绍
1、CAP：CAP原理：• Consistency(一致性)： 数据一致更新，所有数据变动都是同步的• Availability(可用性)： 好的响应性能• Partition tolerance(分区耐受性)： 可靠性上面的解释可能显得太过抽象，举例来说在高可用的网站架构中，对于数据基础提出了以下的要求：• 分区耐受性 保证数据可持久存储，在各种情况下都不会出现数据丢失的问题。...
2019-04-26 14:48:00
709
转载 mysql 主从搭建
step 1：假设主服地址为192.168.1.1，从服为192.168.1.2主服启用binlog，并设置server-id[mysqld]log-bin=mysql-binserver-id=1step 2：主服创建同步账户并设置其权限：CREATE USER 'replication'@'192.168.1.2' IDENTIFIED BY 'pas...
2019-02-18 14:16:00
93
转载 MySQL 双主问题集
最近试用MySQL高可用方案，需要配MySQL双主，对期间遇到的问题做下记录。1、导出锁表问题mysqldump 命令增加参数 --skip-opt -q 可避免导出时锁表；2、导出\导入所有数据库问题mysqldump 命令增加参数--all-databases 可导出所有数据库，但不推荐这样做，这样会覆盖掉导入库的 mysql、xxx_scema 几个库，...
2019-01-04 10:10:00
272
转载 MySQL 测试工具（基准测试、压力测试）
1、sysbenchsysbench是跨平台的基准测试工具，支持多线程，支持多种数据库；主要包括以下几种测试：cpu性能磁盘io性能调度程序性能内存分配及传输速度POSIX线程性能数据库性能(OLTP基准测试)参考：https://www.cnblogs.com/kismetv/p/7615738.html#t12、mysql...
2018-11-29 16:15:00
213
转载 分布式 NewSQL 对比
1、TiDB：说明：PingCAP公司基于GoogleSpanner/F1论文实现的开源分布式NewSQL数据库。开源分布式NewSQL关系型数据库TiDB是新一代开源分布式NewSQL数据库，模型受GoogleSpanner/F1论文的启发，实现了自动的水平伸缩，强一致性的分布式事务，基于Raft算法的多副本复制等重要New...
2018-11-09 15:02:00
293
转载 （转载）MySQL数据库的几种常见高可用方案
转自：https://yq.aliyun.com/articles/74454随着人们对数据一致性的要求不断的提高，越来越多的方法被尝试用来解决分布式数据一致性的问题，如MySQL自身的优化、MySQL集群架构的优化、Paxos、Raft、2PC算法的引入等等，本文介绍MySQL数据库的几种常见高可用方案。一、概述我们在考虑MySQL数据库的高可用的架构时，主要...
2018-11-08 14:03:00
116
转载 MySQL 大表备份、改表
0、背景：需要对一个千万行数据的表新增字段，具体操作：a、dump 数据b、delete 数据c、alter 表MySQL 版本为5.5，alter表时MySQL会锁表；表行数虽多，当数据较少，每行数据平均2KB。1、dump 数据注意：默认会锁表，需要增加参数 --skip-opt -q单个dump文件太大需要调整配置： max_a...
2018-11-07 14:34:00
356
转载 看书、读书方法总结
相关书籍：《如何阅读一本书》、《如何有效阅读一本书》个人总结：1、从书中需要获取什么信息？2、看完书达到什么效果（程度）3、选择性阅读（不一定要通读，挑关键点）4、读完后需要总结实践，并可复读从而温故知新转载于:https://www.cnblogs.com/GO-NO-1/p/9272841.html...
2018-07-06 11:53:00
168
转载 学习新技术方法总结
由于经常要学习新东西，总结一下学习方法和心得。1、学习新技术流程：2、学习的方式：2.1、找到切入点，主动学习感兴趣的东西，并即时给自己反馈2.2、高强度的专注学习（罗福斯）2.3、分步学习（费曼）：a、Pick a topic you want to understand and start studying it. 选择一个学习主题...
2018-07-05 17:33:00
189
转载 《Head First Java》读书笔记
primitive主数据类型有8种： boolean、char、byte、short、int、long、float、double没有对象变量，只有引用到对象的变量，对象引用变量保存存取对象的方法实例变量永远都会有默认值（局部变量没有）：integers 0floating points 0.0booleans falsereferences null如果...
2018-06-23 10:23:00
157
转载 《程序员的自我修养》读书笔记
断断续续看了几个月，终于把这本书看（fan）完了，一个程序写完后，到运行之间的过程，涉及到的知识点不可谓少，有不少收获，例行记录下。第一部分：简介第1章、温故而知新主要介绍一些操作系统的基本知识，需要忘了 设备驱动、操作系统、虚拟空间、物理空间、页映射、线程等基本概念的建议要回顾下。第二部分：静态链接第2章、编译和链接使用gcc编译程序生成目标文件中，经...
2018-06-08 15:43:00
121
转载 文件同步工具 lsyncd2.1.6 安装使用问题
项目有文件实时同步备份的需求，做了一下调查，比较好的解决方法是使用lsyncd工具。这里主要记录一下遇到的问题及解决方法。lsyncd 的相关介绍和对比可见：lsyncd实时同步搭建指南——取代rsync+inotifyLinux下同步工具inotify+rsync使用详解Linux文件系统Inotify机制lsyncd官方文档：Lsyncd - Li...
2018-06-06 17:31:00
290
转载 Hadoop2.6 安装布置问题总结（单机、分布式）
在debian7虚拟机上安装hadoop2.6，期间遇到一些问题在此记录一下。安装参考：Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS1、安装后出现...master: Error: JAVA_HOME is not se...
2018-06-05 14:23:00
156
转载 linux 配置文件（启动文件、环境文件）启动顺序
1、登录shell登录shell时，linux会按一定规则读取启动几个配置文件：/ect/profile$HOME/.bash_profile$HOME/.bashrc$HOME/.bash_login$HOME/.profile其中/ect/profile 文件是系统默认的主启动文件，系统上每个用户登录时都会执行；a、命令行登录和ssh登...
2018-05-24 19:22:00
222
转载 linux shell 执行命令顺序
1、shell命令搜索顺序在linux shell 中输入一个命令，如果有多个同名指令，shell需要按照一定规则去取优先级高的一个执行，shell命令的搜索顺序为：1、别名，使用alias创建的命令。2、关键字，如if，for。3、函数4、内置命令，如cd，pwd等5、外部命令，在PATH路径中寻找2、指定执行某类命令builtin ：指定执...
2018-05-24 15:40:00
369
转载 在Linux上编译使用tcmalloc
项目需要使用tcmalloc，比较简单的方法是安装tcmalloc相关包（gpertools）后，将tcmalloc的静态库提取出来，在编译项目内核（执行makefile）时，链接上静态库即可。这里出现了一个问题，进行编译时出现路径相关报错，后面发现只使用 libtcmall_minimal.a 静态库（最小安装，只包含tcmalloc功能，不提供其他堆栈查询功能）就行了。猜测是...
2018-05-23 20:35:00
1006
转载 eclipse启动报错: No Java virtual machine
在 scala-ide下载集成scala包的eclipse版本使用，启动时报错：A java runtime environment (JRE) or java development kit (JDK) must be available in order to run Eclipse. No java virtual machine was found after searc...
2018-05-23 20:19:00
217
转载 http2.0可行性研究
一、http2比http1有了更多新特性1、使用了多路复用的技术，并发量支持比http1大几个数量级；2、二进制分帧，改善网络延迟情况，提高传输速率；3、支持header的数据压缩，数据体积变小传输更快；4、支持服务器推送（单请求多回应）；二、测试对比三、总结由以上测试数据看出，http2.0在并发请求数量多（大于30个/...
2018-05-03 20:31:00
86
转载 python 内存问题（glibc库的malloc相关）
题记：这是工作以来困扰我最久的问题。python 进程内存占用问题。经过长时间断断续续的研究，终于有了一些结果。项目（IM服务器）中是以C做底层驱动python代码，主要是用C完成 网络交互部分。随着用户量和用户数据的增加，服务器进程内存出现持续上升（基本不会下降），导致需要经常重启服务器，这也是比较危险的信号。因此便开始了python内存研究之路。1、业务代码问...
2018-04-16 18:04:00
651
转载 linux硬盘满了问题排查
关键指令：dfdufindstep1：如果发现硬盘满了，首先要确定一下，使用df查看硬盘使用情况df -hstep2：从第一步结果判定满了，确定哪些文件或哪个文件占了大头，使用du指令做逐步排查，找出占用硬盘多但又无用的文件：//查看当前目录下子目录大小du -h --max-depth=1//查看当前目录下文件大小ls...
2018-03-02 10:18:00
110
转载 http://www.pythonchallenge.com/ 网站题解
在知乎中无意发现了这个网站，做了几题发现挺有趣的，这里记录下自己的解题思路，顺便对比下答案中的思路网页：http://www.pythonchallenge.com/目前只做了几题，解题的方法就是根据页面上给的提示（文字或图片），然后得出一个字符串xxx，http://www.pythonchallenge.com/pc/def/xxx.html 就是下一题的...
2018-01-23 16:45:00
690
转载 《Linux Shell 脚本攻略》读书笔记
本书主要讲解一些linux shell命令的用法，讲解一些shell的奇技淫巧。第一章 小试牛刀主要介绍一些基本shell指令终端打印：echo、printf别名：alias终端处理工具：tput，stty日期：date第二章 命令之乐介绍一些基本命令读取、显示、拼接文件：cat录制回放会话：script，scriptreplay文件...
2018-01-09 20:25:00
112
转载 《Unix网络编程卷1：套接字联网API》读书笔记
第一部分：简介和TCP/IP第1章：简介第2章：传输层：TCP、UDP和SCTPTCP：传输控制协议，复杂、可靠、面向连接协议UDP：用户数据报协议，简单、不可靠、无连接协议SCTP：流控制传输协议，组合两个特性并提供tcp不备的特性第二部分：基本套接字编程第3章：套接字编程简介第4章：基本TCP套接字编程客...
2017-12-18 20:40:00
215
转载 ssh 免密码登录（设置后仍需输密码的原因及解决方法）
ssh免密码登录的原理：serverA 免密码登录到 serverB机器A 向 机器B 进行免密码登陆step1：在机器A中生成 私钥和公钥：ssh-keygen -t rsa此时在 ~/.ssh/ 目录下生成了公钥（id_rsa.pub）和私钥(id_rsa)step2：把机器A的公钥（id_rsa.pub）复制到机器...
2017-12-18 17:14:00
7630
转载 CPP 替代 PIL 图片处理（缩略图生成）
python中使用PIL（Pyhton Image Library）进行图片处理，好处就是编写简单方便，但是不能很好利用机器多核的特点，于是在项目中决定使用cpp来实现图片处理。项目中的图片处理主要是生成缩略图。网上收集了一些cpp图片处理库，并进行了对比：在项目中需要对jpg、png、gif格式的图片进行处理，可行的cpp库有Img、FreeImage、GD，而...
2017-10-20 16:18:00
247
转载 《图解HTTP》读书笔记
1、了解Web及网络基础DNS：域名系统，ip、域名间转换URI：统一资源标识符URL：统一资源定位符，是 URI 子集2、简单的HTTP协议告知服务器意图的HTTP方法：GET、POST、PUT、HEAD、DELETE、OPTIONS、TRACE、CONNECT持久连接节省通信量：持久连接、管线化使用Cookie管理状态3、HTTP报文内的HTT...
2017-10-11 20:59:00
97
转载 《流畅的Python》读书笔记
第一部分：序幕第1章：Python数据模型通过实现特殊方法，自定义数据类型可以表现得和内置类型一样；__repr__方便调试和记录日志，__str__方便用户看；序列数据类型特殊方法使用最多；第二部分：数据结构第2章：序列构成的数组系列类型可分为 可变和不可变、扁平序列和容器序列；列表推导生成器表达式提供了灵活构建和初始化序列的方式；元组、切...
2017-09-26 21:03:00
133
转载 《图解TCP/IP》读书笔记
1、网络基础知识计算机与网络发展：批处理-》分时系统-》计算机间通信-》计算机网络-》互联网-》安全连接-》TCP/IPOSI参考模型：物理层-》数据链路层-》网络层-》传输层-》会话层-》表示层-》应用层传输方式：面向有连接和面向无连接网络通信方式：电路交换和分组交换接收端数量分类：单播、广播、多播、任播网络构成要素：通信媒介与数据链路、网卡、中继器、网桥（2层...
2017-09-22 11:01:00
98
转载 《Head First 设计模式》读书笔记
1、欢迎来到设计模式的世界：设计模式入门策略模式：定义算法族，分别封装起来，让他们之间可以互相替换，此模式让算法的变化独立于使用算法的客户。OO原则：封装变化多用组合，少用继承针对接口编程，不针对实现编程OO基础：抽象封装多态继承2、让你的对象知悉现况：观察者模式观察者模式：在对象之间定义一对多的依赖，这样一来，当一个对象改变状态...
2017-08-19 15:34:00
176
转载 《NoSQL精粹》读书笔记
第一部分：概念1、为什么使用NoSQL阻抗失谐：关系数据库的关系模型和内存中的数据结构之间存在的差异。集成数据库：通常由不同团队所开发 的多个应用程序，将其数据存储在一个公用的数据库中。应用程序数据库：其内容只能有一个应用程序的代码库直接访问，而这份代码库是由一个团队来维护的。选用NoSQL原因：一是待处理数据量很大，或对数据访问的效率要求很高，从而必须将数据放在集群...
2017-08-18 16:28:00
119
转载 linux 服务器丢包故障排查
项目开了个P2P服务器，但是运行一段时间就会出现丢包问题，具体表现为：1、udp丢包严重（一分钟收发分别1.5W）2、ssh（用于运维指令）连接不上该服务器（超时）3、服务器运行好像没什么异常，udp假连接数比tcp连接数少（正常应该相近）首先开始怀疑是不是客户端有bug，查log发现某段时间有个别客户端发大量心跳包，开始怀疑这个原因导致服务异常。在多次关服开...
2017-08-09 14:17:00
848
转载 《高性能MySQL》 读书总结
目录：第一章、MySQL架构与历史第二章、MySQL基准测试第三章、服务器性能剖析第四章、Schema与数据类型优化第五章、创建高性能的索引第六章、查询性能优化第七章、MySQL高级特性第八章、优化服务器设置第九章、操作系统和硬件优化第十章、复制第十一章、可扩展性MySQL第十二章、高可用性第十三章、云端的MySQL第十四...
2017-07-31 11:24:00
179
转载 NAT穿透（UDP打洞）
1、NAT（Network Address Translator）介绍NAT有两大类，基本NAT和NAPT。1.1、基本NAT静态NAT：一个公网IP对应一个内部IP，一对一转换动态NAT：N个公网IP对应M个内部IP，不固定的一对一转换关系1.2、NAPT（Network Address/Port Translator）现在基本使用这种，又分为对称和锥型N...
2017-07-26 19:38:00
2265
转载 python函数调用关系图（python call graph）
由于要重构项目的部分代码，要整理好主要的函数调用关系，不想自己看代码慢慢画出结构，想找出一种通用的，节省人力的方法得出函数间的调用关系图，于是发现以下几个工具。（内网没装好graphviz，还没真正用上）主要分下面三个模块了解一下python中如何生成函数关系调用图：1、graphviz（Graph Visualization Software-图形可视化软件）2...
2017-07-12 15:23:00
6428
转载 VMware 三种网络模式
安装VMware后会多出两网卡VMnet1、VMnet8：VMnet0：用于虚拟桥接网络下的虚拟交换机VMnet1：用于虚拟Host-Only网络下的虚拟交换机VMnet8：用于虚拟NAT网络下的虚拟交换机VMwareNetworkAdepter VMnet1：Host用于与Host-Only虚拟网络进行通信的虚拟网卡VMware Network Adepte...
2017-06-20 10:20:00
93
转载 symbol lookup error *** , undefined symbol 错误
在重装samba过程后遇到一些问题，使用 gdb 时产生报错：gdb:symbollookuperror:gdb:undefinedsymbol:PyUnicodeUCS2_FromEncodedObject原因是 gdb 依赖了python的一些包，而那些包版本太旧，使用时就会发生一些未定义的错误。使用 nm 命令和 ldd 命令可辅助解决这问题。n...
2017-05-20 13:56:00
2402
转载 python 内存分析
1、改源码重新编译打印相关信息obmalloc.c 文件中打印 maxarenas，值为当前环境分配 arena 个数；分配 arena 时并没有马上分配对应的pools，故对于每一个 arena，nfreepools 和 ntotalpools 为分配pool的可用pool数和总pool数。int arena_len = 0;int _nfreepools ...
2017-05-10 19:59:00
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人