天天water的专栏

转载 如何从0到1构建一个稳定、高性能的Redis集群

原优质博文地址：如何从0到1构建一个稳定、高性能的Redis集群？（附16张图解） - ludongguoa - 博客园 Redis集群方案应该怎么做？ - 知乎大家好，我是 Kaito。这篇文章我想和你聊一聊 Redis 的架构演化之路。现如今 Redis 变得越来越流行，几乎在很多项目中都要被用到，不知道你在使用 Redis 时，有没有思考过，Redis 到底是如何稳定、高性能地提供服务的？你也可以尝试回答一下以下这些问题：我使用 Redis 的场景很简单，只使用单机版 Redi

转载 你管这破玩意儿叫负载均衡

相信大家都听过这样的一道经典面试题：「请说出在淘宝网输入一个关键词到最终展示网页的整个流程，越详细越好」这个问题很难，涉及到 HTTP，TCP，网关，LVS 等一系列相关的概念及诸多协议的工作机制，如果你能掌握到这其中的每个知识点，那将极大地点亮你的技能树,对于网络是如何运作也会了然于胸，即便不能完全掌握，但知道流量怎么流转的对你排查定位问题会大有帮助，我之前就利用这些知识定位到不少问题，为了弄清楚整个流程，我查阅了很多资料，相信应该可以把这个问题讲明白，不过写着写着发现篇幅实在太长，所以分为上下两篇来

转载 逃离不了的北京，安放不下的灵魂

10月8日，在去往丽江的旅行车上，音响中放着《林中鸟》，老婆靠在我肩上酣然入睡，我在手机上随心地敲打着文字。此刻，心情无比的放松，世界似乎都是静止的，空气中弥漫着的是自由的味道。—1—结婚5年了，这是我们第一次单独出来旅行。走在丽江的古城里，被老婆吐槽自从结婚后，从没如此正经地陪她逛过街了。回首过去的5年，她的付出很多，个中辛酸，只有我看在眼里。2015年，我们结婚后便开始分居，我在北京，她在长沙，那年我在长沙短暂地待过，后来又毅然地回到了北京，她理解我对事业的追求和对一线大城市的向..

转载 WIN10在文件夹对着文件点击右键无反应 鼠标一直在转圈圈然后会文件夹处会显示未响应

两个windows10电脑遇到此问题，特此记录。解决WIN10在文件夹对着文件点击右键无反应的步骤如下：1.右键点击系统桌面左下角的【开始】，在开始菜单中点击【运行】；2.在运行对话框中输入：regedit命令，点击确定或者回车，打开注册表编辑器；3.在打开的注册表编辑器窗口，依次展开：HKEY_CURRENT_USER\Software\Microsoft；4.在Microsoft的展开项中继续展开：Windows\CurrentVersion5.在Curre...

转载 java zlib解压缩与base64处理

目录JDK 压缩与解压工具类I. 压缩与解压工具类1. 基本实现2. 注意事项3. 小结II. 其他Base64编码、解码关于base64编码Encode和Decode编码的几种方式早期作法Apache Commons Codec作法Java 8之后的作法JDK 压缩与解压工具类在实际的应用场景中，特别是对外传输数据时，将原始数据压缩之后丢出去，可以说是非常常见的一个case了，平常倒是没有直接使用JDK原生的压缩工具类，使用Protosutff和Kry.

原创 常见动态数据结构小结

什么是动态数据结构：动态数据结构是支持动态的更新操作，里面存储的数据是时刻在变化的，通俗一点讲，它不仅仅支持查询，还支持删除、插入数据。而且，这些操作都非常高效。如果不高效，也就算不上是有效的动态数据结构了。所以，红黑树算一个，支持动态的插入、删除、查找，而且效率都很高。划重点：学习数据结构和算法，要学习它的由来、特性、适用的场景以及它能解决的问题。总结1散列表：插入删除查找都是O(1), 是最常用的，但其缺点是不能顺序遍历以及扩容缩容的性能损耗。适用于那些不需要顺序遍历，数据更新不那么频..

转载 面经：本5 服务端 6 轮面试阿里

原优质鸡汤地址：https://mp.weixin.qq.com/s/OW_ZERc132iKEN7n153LcQ

转载 一个 TCP 连接可以发多少个 HTTP 请求？

曾经有这么一道经典面试题：从 URL 在浏览器被被输入到页面展现的过程中发生了什么？相信大多数准备过的同学都能回答出来，但是如果继续问：收到的 HTML 如果包含几十个图片标签，这些图片是以什么方式、什么顺序、建立了多少连接、使用什么协议被下载下来的呢？要搞懂这个问题，我们需要先解决下面五个问题： 现代浏览器在与服务器建立了一个 TCP 连接后是否会在一个 HTTP 请求完成后断开？什么情况下会断开？ 一个 TCP 连接可以对应几个 HTTP 请求？ 一个 TCP 连接.

转载 你能现场写一下LRU算法吗？

这句话大家是不是最近已经要看吐了呢？每当这个时候，就证明招聘旺季又来啦~春招、校招、社招……那你真的准备好了吗？现在程序员的面试，尤其是大厂程序员面试其实越来越看重算法基本功。所以想要去大厂，拿到一个心仪的offer，扎实的算法基本功必不可少。今天牛牛就来跟大家来分享一个非常高频的算法面试题——LRU缓存淘汰算法。相信不少小伙伴在面试过程中都遇到过，这也是去年牛牛在腾讯三面时遇到的问题。三面面试官上来首先天马行空地考察了一些基础的知识点，比如编程语言、常用中间件原理等等，虽然问题看起

原创 Linux常用命令问题汇总（夯实基础）

目录1、绝对路径用什么符号表示？当前目录、上层目录用什么表示？ 主目录用什么表示? 切换目录用什么命令？2、怎么查看当前进程？怎么执行退出？怎么查看当前路径？3、怎么清屏？怎么退出当前命令？怎么执行睡眠？怎么查看当 前用户 id？查看指定帮助用什么命令？4、Ls 命令执行什么功能？ 可以带哪些参数，有什么区别？5、建立软链接(快捷方式)，以及硬链接的命令。6、目录创建用什么命令？创建文件用什么命令？复制文件用什 么命令？7、查看文件内容有哪些命令可以使用？8、随意写文件命令？

转载 进程、线程、进程池、进程三态、同步、异步、并发、并行、串行 （基础简单回顾）

一进程, 线程1.????进程????什么是进程? 开发写的代码我们称为程序，那么将开发的代码运行起来。我们称为进程。 明白点: 当我们运行一个程序，那么我们将运行的程序叫进程。 ????精简重点????进程是申请一块内存空间,将数据放到内存空间中去, 是申请数据的过程 是最小的资源管理单元 进程是线程的容器????程序与进程的区别程序是数据和指令的集合, 是一个静态的概念, 就是一堆代码, 可以长时间的保存在系统中 进程是程序运行的过程, 是一个动态的概

转载 ETL讲解（很详细！！！）

ETL讲解（很详细！！！）ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(Operation...

原创 大数据处理的重要技术发展小结

按照时间线查看超大规模数据处理的重要技术以及它们产生的年代：可以把超大规模数据处理的技术发展分为三个阶段：石器时代，青铜时代，蒸汽机时代。石器时代石器时代”来比喻MapReduce诞生之前的时期。数据的大规模处理问题早已存在。早在2003年的时候，Google就已经面对大于600亿的搜索量。但是数据的大规模处理技术还处在彷徨阶段。当时每个公司或者个人可能都有自己的一套工具处理数据。却没有提炼抽象出一个系统的方法。青铜时代2003年，MapReduce的诞生标志了超大规模数据.

转载 大数据核心知识点：Hbase、Spark、Hive、MapReduce概念理解、特点及机制

常用大数据开发基础知识点主要集中在Hbase、Spark、Hive和MapReduce上，基础概念、特点、应用场景等。目录一、Hbase1.1、Hbase是什么？1.2、HBase的特点二、Spark三、Hive3.1、Hive是什么3.2、为什么要使用Hive3.3 Hive架构四、Mapreduce4.1、MapReduce是什么？4.2、为什么需要 MapReduce？4.3、MapReduce核心机制一、Hbase1.1、Hbase是..

原创 golang进阶教程目录

1. Go语言的前世今生2. 数组、切片和映射3. 类型系统——类型的本质4. 类型系统——接口5. 类型系统——嵌入类型6. 并发——锁住共享资源7. 并发——通道8. 常见并发模式9. 测试和性能...

原创 26. 删除排序数组中的重复项

题目描述：给定一个排序数组，你需要在 原地 删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。示例 1:给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前两个元素被修改为 1, 2。 你不需要考虑数组中超出新长度后面的元素。示例2:给定 nums = [0,0,1,1,1,2,2,3,3,4],函数应该返回新.

原创 21. 合并两个有序链表

题目描述：将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。示例：输入：1->2->4, 1->3->4输出：1->1->2->3->4->4难度：简单解题思路：解题代码：package mainimport ( "fmt" "time")//Definition for singly-linked list.type ListNode struct { Va

原创 20. 有效的括号

题目描述：给定一个只包括 '('，')'，'{'，'}'，'['，']'的字符串，判断字符串是否有效。有效字符串需满足：左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。示例 1:输入: "()"输出: true示例2:输入: "()[]{}"输出: true示例3:输入: "(]"输出: false示例4:输入: "([)]"输出: false示例5:输入: "{[]}"输出: true...

原创 Python常见主流框架简介

目录DjangoDieselFlaskCubesKartographPulsarWeb2pyFalconDparkBuildbotZerorpcBottleTornadowebpyScrapyDjango简介：Python Web应用开发框架Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自..

转载 linux下查看CPU、内存、磁盘信息

1、查看CPU信息# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看逻辑CPU的个数cat /proc/cpuinfo| grep "pro

转载 hadoop streaming编程和golang实现mr demo

hadoop streaming是什么？为什么要用hadoop streaming？hadoop streaming怎么用？接下来我们就来解决这些问题。1、首先，hadoop streaming是一种编程工具，它是由hadoop提供的。2、为什么要用hadoop streaming呢？hadoop框架是用java语言写的，也就是说，hadoop框架中运行的所有应用程序都要用java语言来写才能正常地在hadoop集群中运行。那么问题来了，如果有些开发者就是不会java语言，但是又想使用mapredu

转载 Hadoop集群-HDFS集群中大数据运维常用的命令总结

一.查看hadf的帮助信息[hdfs@node101.yinzhengjie.org.cn ~]$ hdfsUsage: hdfs [--config confdir] COMMAND where COMMAND is one of: dfs run a filesystem command on the file systems supported in Hadoop. namenode -format format the DF

转载 MongoDB、ElasticSearch、Redis、HBase这四种热门数据库的优缺点及应用场景

MongoDBMongoDB是当今最火爆的NoSQL数据库。MongoDB最早在09年发布，算得上是早期大数据时代的数据库代表作了。随着MongoDB的火爆，研发MongoDB的团队还专门成立了MongoDB公司来对MongoDB进行维护和推广，现在这个公司已经在纳斯达克上市，市值达到十几亿美元，算得上是技术变现的典范了。MongoDB最大的特点是表结构灵活可变，字段类型可以随时修改。MongoDB中的每一行数据只是简单的被转化成Json格式后存储，因此MongoDB中压根没有MySQL中表结构这样

原创 kafka学习笔记

Kafka 的三层消息架构第一层是主题层，每个主题可以配置 M 个分区，而每个分区又可以配置 N 个副本。第二层是分区层，每个分区的 N 个副本中只能有一个充当领导者角色，对外提供服务；其他 N-1 个副本是追随者副本，只是提供数据冗余之用。第三层是消息层，分区中包含若干条消息，每条消息的位移从 0 开始，依次递增。最后，客户端程序只能与分区的领导者副本进行交互。producer 向分区写入策略1. 轮询策略 按顺序分别向分区1、2、3...写入2. 随机策略3. 按key策略所谓的消

转载 史上最全入行必备的网络安全术语

目录一、攻击篇1．攻击工具2．攻击方法3．攻击者二、防守篇1．软硬件2．技术与服务下面小编就盘点了超过200个常用的网络安全词汇，希望对您的学习与业务沟通有所帮助。如有不当或者疏漏之处，请在留言处指正补充。一、攻击篇1．攻击工具肉鸡所谓“肉鸡”是一种很形象的比喻，比喻那些可以被攻击者控制的电脑、手机、服务器或者其他摄像头、路由器等智能设备，用于发动网络攻击。例如在2016年美国东海岸断网事件中，黑客组织控制了大量的联网摄像头用于发动网络攻击，这些摄像头

原创 高质量解读《互联网企业安全高级指南》——目录

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。高质量解读《互联网企业安全高级指南》三部曲——理论篇高质量解读《互联网企业安全高级指南》三部曲（技术篇）——目录高质量解读《互联网企业安全高级指南》三部曲（技术篇）——防御架构原则高质量解读《互联网企业安全高级指南》三部曲（技术篇）——基础安全措施高质量解读《互联网企业安全高级指南》三部曲（技术篇）——网络安全高质量解读《互联网企业安全高级指南》三部曲（技术篇）——入侵.

原创 高质量解读《互联网企业安全高级指南》三部曲——实践篇

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。实践篇逻辑思维图1. 业务安全与风控1.1. 说明1.1.1. 业务安全的起源是由于黑产的存在1.1.2. 企业间的恶性竞争，黄赌毒等合规性要求也成为业务安全的驱动力1.1.3. 本章将描述互联网行业各种典型业务的主要风险和控制方法1.2. 对抗原则1.2.1. 相对的风控而非绝对的防黑拖库只要发生一次就非常严重，但是业...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——隐私保护

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。隐私保护逻辑思维图1.说明1.1.隐私保护诞生于互联网时代，而移动互联网、物联网发展起来后进一步提升了这方面的需求，对于业务规模比较大的公司，尤其是2C市场和全球化的公司，隐私保护成了安全 建设中的必要选项1.2.隐私保护近来逐渐兴起主要有几方面的原因1.2.1.互联网和移动互联网兴起，大批的厂商承载了上亿网民的个人数据，这些个人数据的泄露不仅影响业务运营，影响品牌，加剧...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——安全管理体系

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。安全管理体系逻辑思维图1.说明1.1.安全管理体系类似于项目管理的PMBOK，本质上是一种方法论和参考维度，覆盖组织全部的技术活动和全生命周期1.2.安全管理体系是一个随业务扩张而逐渐完善的过程2.相对“全集”2.1.这里所说的全集其实算不上是全集，只是一个相对的、偏实操的集合，真正意义上的全集引用了国际上的诸多标准、指南和最佳实践2.2.图13-1 是站在安全职能的角..

原创 常见漏洞类型

常见SRC漏洞类型1. WEB漏洞1.1. 反射型XSS1.2. 存储型XSS1.3. 命令注入1.4. SQL注入1.5. 上传漏洞1.6. 信息泄露1.7. CSRF1.8. 文件包含1.9. 逻辑漏洞1.10. 权限绕过1.11. URL跳转1.12. XXE注入1.13. 文件读取1.14. JSON劫持1.15. 命令执行1.16. 登陆爆破\认证缺陷1....

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——办公网络安全

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。办公网络安全逻辑思维图1. 说明1.1. 办公网络的安全是乙方安全公司提供解决方案最多的场景1.1.1. 原因主要因为现在社会工程学、定向攻击、APT、钓鱼、水坑攻击，专打管理员的渗透越来越多，所以生产网络做到固若金汤也无用，攻击者绕背后转跳办公网络进攻也是一个很大的问题另一方面服务器网络大多是来自客户-服务端相对固化的交互模型，用严格的ACL就能控制绝大...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——代码审计

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。代码审计逻辑思维图1. 说明1.1. 源代码审计是一种提高软件安全性的方法，在之前的章节中已对SDL有所介绍，在本章中，更偏向于具体操作。1.2. 我们将了解一些代码审计的方法和工具，从人工到借助工具，最后会通过一些实例来看到如何通过现有的工具进行审计，以及这些工具如何帮助我们发 现并消除漏洞1.3. 在源代码审计阶段，一些产品安全设计上的问题可能已...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——移动应用安全

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。移动应用安全逻辑思维图1. 说明1.1. 互联网公司的安全体系基本上以运维安全，应用安全，业务安全三管齐下。而移动应用安全则在应用安全中占据半壁江山，尤其对于移动端产品为主的公司而言，SDL的主要实践对象就是移动应用2. 背景2.1. 随着智能手机和其他移动设备的爆发式普及，移动应用已成为互联网公司业务重要的业务方向。本章中会以移动两大平台之一的安卓...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——漏洞扫描

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。漏洞扫描逻辑思维图1. 说明1.1. 漏洞扫描、入侵感知和应急响应是技术维度日常工作中最重要的3个部分2. 概述2.1. 漏洞是指缺少安全措施或采用的安全措施有缺陷，可能会被攻击者利用，对企业的信息资产的安全造成损害。漏洞扫描就是利用扫描器发现漏洞的过程。3. 漏洞扫描的种类3.1. 按漏洞类型分类3.1.1. ACL扫描...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——入侵感知体系

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。入侵感知体系逻辑思维图1. 说明1.1. 入侵感知是目前安全防御体系建设中最重要的一环，是大型互联网生产网络的核心需求1.2. 本章从系统、应用、后端架构等维度讲述入侵感知体系的实现方法2. 主机入侵检测2.1. 主机入侵检测系统(Host-based Intrusion Detection System, HIDS)顾名思义是基于主机...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——网络安全

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。目录网络安全逻辑思维图介绍网络入侵检测传统NIDS开源 SNORT大型全流量NIDS关于D还是P对厂商的建议T级DDoS防御DDoS分类多层防御结构不同类型的企业不同类型的业务服务策略NIPS场景破防和反制立案和追踪链路劫持HTTPDNS全站 HTTPS登录过程加密跨IDC传输加密应用防火...

转载 Golang 知识图谱

Golang知识图谱Go语言设计与实现参考原文链接：https://draveness.me/golang/

原创 git往空仓库push代码和[remote rejected] master -＞ master (pre-receive hook declined)解决办法

记录问题：向空仓库，push代码。问题：往空仓库push代码，方式1是ok的，方式2不行方式1：echo "# go_log" >> README.mdgit initgit add README.mdgit commit -m "first commit"git remote add origin git@github.com:binwater/go_log.gitgit push -u origin master方式2：git clone git@github..

原创 python 知识图谱

转载 服务之间的调用为啥不直接用 HTTP 而用 RPC？

什么是 RPC?RPC原理是什么?什么是 RPC？RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。比如两个不同的服务 A、B 部署在两台不同的机器上，那么服务 A 如果想要调用服务 B 中的某个方法该怎么办呢？使用 HTTP请求 当然可以，但是可能会比较慢而且一些优化做的并不好。RPC 的出现就是为了解决这个问题。RPC原理是什么？ 服务消费方（client）调用以本地调用方式调用服务.