天天water的专栏

转载 一个 TCP 连接可以发多少个 HTTP 请求？

曾经有这么一道经典面试题：从 URL 在浏览器被被输入到页面展现的过程中发生了什么？相信大多数准备过的同学都能回答出来，但是如果继续问：收到的 HTML 如果包含几十个图片标签，这些图片是以什么方式、什么顺序、建立了多少连接、使用什么协议被下载下来的呢？要搞懂这个问题，我们需要先解决下面五个问题： 现代浏览器在与服务器建立了一个 TCP 连接后是否会在一个 HTTP 请求完成后断开？什么情况下会断开？ 一个 TCP 连接可以对应几个 HTTP 请求？ 一个 TCP 连接.

转载 你能现场写一下LRU算法吗？

这句话大家是不是最近已经要看吐了呢？每当这个时候，就证明招聘旺季又来啦~春招、校招、社招……那你真的准备好了吗？现在程序员的面试，尤其是大厂程序员面试其实越来越看重算法基本功。所以想要去大厂，拿到一个心仪的offer，扎实的算法基本功必不可少。今天牛牛就来跟大家来分享一个非常高频的算法面试题——LRU缓存淘汰算法。相信不少小伙伴在面试过程中都遇到过，这也是去年牛牛在腾讯三面时遇到的问题。三面面试官上来首先天马行空地考察了一些基础的知识点，比如编程语言、常用中间件原理等等，虽然问题看起

原创 Linux常用命令问题汇总（夯实基础）

目录1、绝对路径用什么符号表示？当前目录、上层目录用什么表示？ 主目录用什么表示? 切换目录用什么命令？2、怎么查看当前进程？怎么执行退出？怎么查看当前路径？3、怎么清屏？怎么退出当前命令？怎么执行睡眠？怎么查看当 前用户 id？查看指定帮助用什么命令？4、Ls 命令执行什么功能？ 可以带哪些参数，有什么区别？5、建立软链接(快捷方式)，以及硬链接的命令。6、目录创建用什么命令？创建文件用什么命令？复制文件用什 么命令？7、查看文件内容有哪些命令可以使用？8、随意写文件命令？

转载 进程、线程、进程池、进程三态、同步、异步、并发、并行、串行 （基础简单回顾）

一进程, 线程1.????进程????什么是进程? 开发写的代码我们称为程序，那么将开发的代码运行起来。我们称为进程。 明白点: 当我们运行一个程序，那么我们将运行的程序叫进程。 ????精简重点????进程是申请一块内存空间,将数据放到内存空间中去, 是申请数据的过程 是最小的资源管理单元 进程是线程的容器????程序与进程的区别程序是数据和指令的集合, 是一个静态的概念, 就是一堆代码, 可以长时间的保存在系统中 进程是程序运行的过程, 是一个动态的概

转载 ETL讲解（很详细！！！）

ETL讲解（很详细！！！）ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(Operation...

原创 大数据处理的重要技术发展小结

按照时间线查看超大规模数据处理的重要技术以及它们产生的年代：可以把超大规模数据处理的技术发展分为三个阶段：石器时代，青铜时代，蒸汽机时代。石器时代石器时代”来比喻MapReduce诞生之前的时期。数据的大规模处理问题早已存在。早在2003年的时候，Google就已经面对大于600亿的搜索量。但是数据的大规模处理技术还处在彷徨阶段。当时每个公司或者个人可能都有自己的一套工具处理数据。却没有提炼抽象出一个系统的方法。青铜时代2003年，MapReduce的诞生标志了超大规模数据.

转载 大数据核心知识点：Hbase、Spark、Hive、MapReduce概念理解、特点及机制

常用大数据开发基础知识点主要集中在Hbase、Spark、Hive和MapReduce上，基础概念、特点、应用场景等。目录一、Hbase1.1、Hbase是什么？1.2、HBase的特点二、Spark三、Hive3.1、Hive是什么3.2、为什么要使用Hive3.3 Hive架构四、Mapreduce4.1、MapReduce是什么？4.2、为什么需要 MapReduce？4.3、MapReduce核心机制一、Hbase1.1、Hbase是..

原创 golang进阶教程目录

1. Go语言的前世今生2. 数组、切片和映射3. 类型系统——类型的本质4. 类型系统——接口5. 类型系统——嵌入类型6. 并发——锁住共享资源7. 并发——通道8. 常见并发模式9. 测试和性能...

原创 26. 删除排序数组中的重复项

题目描述：给定一个排序数组，你需要在 原地 删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。不要使用额外的数组空间，你必须在 原地 修改输入数组 并在使用 O(1) 额外空间的条件下完成。示例 1:给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前两个元素被修改为 1, 2。 你不需要考虑数组中超出新长度后面的元素。示例2:给定 nums = [0,0,1,1,1,2,2,3,3,4],函数应该返回新.

原创 21. 合并两个有序链表

题目描述：将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。示例：输入：1->2->4, 1->3->4输出：1->1->2->3->4->4难度：简单解题思路：解题代码：package mainimport ( "fmt" "time")//Definition for singly-linked list.type ListNode struct { Va

原创 20. 有效的括号

题目描述：给定一个只包括 '('，')'，'{'，'}'，'['，']'的字符串，判断字符串是否有效。有效字符串需满足：左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。示例 1:输入: "()"输出: true示例2:输入: "()[]{}"输出: true示例3:输入: "(]"输出: false示例4:输入: "([)]"输出: false示例5:输入: "{[]}"输出: true...

原创 Python常见主流框架简介

目录DjangoDieselFlaskCubesKartographPulsarWeb2pyFalconDparkBuildbotZerorpcBottleTornadowebpyScrapyDjango简介：Python Web应用开发框架Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自..

转载 linux下查看CPU、内存、磁盘信息

1、查看CPU信息# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l# 查看每个物理CPU中core的个数(即核数)cat /proc/cpuinfo| grep "cpu cores"| uniq# 查看逻辑CPU的个数cat /proc/cpuinfo| grep "pro

转载 hadoop streaming编程和golang实现mr demo

hadoop streaming是什么？为什么要用hadoop streaming？hadoop streaming怎么用？接下来我们就来解决这些问题。1、首先，hadoop streaming是一种编程工具，它是由hadoop提供的。2、为什么要用hadoop streaming呢？hadoop框架是用java语言写的，也就是说，hadoop框架中运行的所有应用程序都要用java语言来写才能正常地在hadoop集群中运行。那么问题来了，如果有些开发者就是不会java语言，但是又想使用mapredu

转载 Hadoop集群-HDFS集群中大数据运维常用的命令总结

一.查看hadf的帮助信息[hdfs@node101.yinzhengjie.org.cn ~]$ hdfsUsage: hdfs [--config confdir] COMMAND where COMMAND is one of: dfs run a filesystem command on the file systems supported in Hadoop. namenode -format format the DF

转载 MongoDB、ElasticSearch、Redis、HBase这四种热门数据库的优缺点及应用场景

MongoDBMongoDB是当今最火爆的NoSQL数据库。MongoDB最早在09年发布，算得上是早期大数据时代的数据库代表作了。随着MongoDB的火爆，研发MongoDB的团队还专门成立了MongoDB公司来对MongoDB进行维护和推广，现在这个公司已经在纳斯达克上市，市值达到十几亿美元，算得上是技术变现的典范了。MongoDB最大的特点是表结构灵活可变，字段类型可以随时修改。MongoDB中的每一行数据只是简单的被转化成Json格式后存储，因此MongoDB中压根没有MySQL中表结构这样

原创 kafka学习笔记

Kafka 的三层消息架构第一层是主题层，每个主题可以配置 M 个分区，而每个分区又可以配置 N 个副本。第二层是分区层，每个分区的 N 个副本中只能有一个充当领导者角色，对外提供服务；其他 N-1 个副本是追随者副本，只是提供数据冗余之用。第三层是消息层，分区中包含若干条消息，每条消息的位移从 0 开始，依次递增。最后，客户端程序只能与分区的领导者副本进行交互。producer 向分区写入策略1. 轮询策略 按顺序分别向分区1、2、3...写入2. 随机策略3. 按key策略所谓的消

转载 史上最全入行必备的网络安全术语

目录一、攻击篇1．攻击工具2．攻击方法3．攻击者二、防守篇1．软硬件2．技术与服务下面小编就盘点了超过200个常用的网络安全词汇，希望对您的学习与业务沟通有所帮助。如有不当或者疏漏之处，请在留言处指正补充。一、攻击篇1．攻击工具肉鸡所谓“肉鸡”是一种很形象的比喻，比喻那些可以被攻击者控制的电脑、手机、服务器或者其他摄像头、路由器等智能设备，用于发动网络攻击。例如在2016年美国东海岸断网事件中，黑客组织控制了大量的联网摄像头用于发动网络攻击，这些摄像头

原创 高质量解读《互联网企业安全高级指南》——目录

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。高质量解读《互联网企业安全高级指南》三部曲——理论篇高质量解读《互联网企业安全高级指南》三部曲（技术篇）——目录高质量解读《互联网企业安全高级指南》三部曲（技术篇）——防御架构原则高质量解读《互联网企业安全高级指南》三部曲（技术篇）——基础安全措施高质量解读《互联网企业安全高级指南》三部曲（技术篇）——网络安全高质量解读《互联网企业安全高级指南》三部曲（技术篇）——入侵.

原创 高质量解读《互联网企业安全高级指南》三部曲——实践篇

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。实践篇逻辑思维图1. 业务安全与风控1.1. 说明1.1.1. 业务安全的起源是由于黑产的存在1.1.2. 企业间的恶性竞争，黄赌毒等合规性要求也成为业务安全的驱动力1.1.3. 本章将描述互联网行业各种典型业务的主要风险和控制方法1.2. 对抗原则1.2.1. 相对的风控而非绝对的防黑拖库只要发生一次就非常严重，但是业...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——隐私保护

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。隐私保护逻辑思维图1.说明1.1.隐私保护诞生于互联网时代，而移动互联网、物联网发展起来后进一步提升了这方面的需求，对于业务规模比较大的公司，尤其是2C市场和全球化的公司，隐私保护成了安全 建设中的必要选项1.2.隐私保护近来逐渐兴起主要有几方面的原因1.2.1.互联网和移动互联网兴起，大批的厂商承载了上亿网民的个人数据，这些个人数据的泄露不仅影响业务运营，影响品牌，加剧...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——安全管理体系

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。安全管理体系逻辑思维图1.说明1.1.安全管理体系类似于项目管理的PMBOK，本质上是一种方法论和参考维度，覆盖组织全部的技术活动和全生命周期1.2.安全管理体系是一个随业务扩张而逐渐完善的过程2.相对“全集”2.1.这里所说的全集其实算不上是全集，只是一个相对的、偏实操的集合，真正意义上的全集引用了国际上的诸多标准、指南和最佳实践2.2.图13-1 是站在安全职能的角..

原创 常见漏洞类型

常见SRC漏洞类型1. WEB漏洞1.1. 反射型XSS1.2. 存储型XSS1.3. 命令注入1.4. SQL注入1.5. 上传漏洞1.6. 信息泄露1.7. CSRF1.8. 文件包含1.9. 逻辑漏洞1.10. 权限绕过1.11. URL跳转1.12. XXE注入1.13. 文件读取1.14. JSON劫持1.15. 命令执行1.16. 登陆爆破\认证缺陷1....

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——办公网络安全

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。办公网络安全逻辑思维图1. 说明1.1. 办公网络的安全是乙方安全公司提供解决方案最多的场景1.1.1. 原因主要因为现在社会工程学、定向攻击、APT、钓鱼、水坑攻击，专打管理员的渗透越来越多，所以生产网络做到固若金汤也无用，攻击者绕背后转跳办公网络进攻也是一个很大的问题另一方面服务器网络大多是来自客户-服务端相对固化的交互模型，用严格的ACL就能控制绝大...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——代码审计

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。代码审计逻辑思维图1. 说明1.1. 源代码审计是一种提高软件安全性的方法，在之前的章节中已对SDL有所介绍，在本章中，更偏向于具体操作。1.2. 我们将了解一些代码审计的方法和工具，从人工到借助工具，最后会通过一些实例来看到如何通过现有的工具进行审计，以及这些工具如何帮助我们发 现并消除漏洞1.3. 在源代码审计阶段，一些产品安全设计上的问题可能已...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——移动应用安全

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。移动应用安全逻辑思维图1. 说明1.1. 互联网公司的安全体系基本上以运维安全，应用安全，业务安全三管齐下。而移动应用安全则在应用安全中占据半壁江山，尤其对于移动端产品为主的公司而言，SDL的主要实践对象就是移动应用2. 背景2.1. 随着智能手机和其他移动设备的爆发式普及，移动应用已成为互联网公司业务重要的业务方向。本章中会以移动两大平台之一的安卓...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——漏洞扫描

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。漏洞扫描逻辑思维图1. 说明1.1. 漏洞扫描、入侵感知和应急响应是技术维度日常工作中最重要的3个部分2. 概述2.1. 漏洞是指缺少安全措施或采用的安全措施有缺陷，可能会被攻击者利用，对企业的信息资产的安全造成损害。漏洞扫描就是利用扫描器发现漏洞的过程。3. 漏洞扫描的种类3.1. 按漏洞类型分类3.1.1. ACL扫描...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——入侵感知体系

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。入侵感知体系逻辑思维图1. 说明1.1. 入侵感知是目前安全防御体系建设中最重要的一环，是大型互联网生产网络的核心需求1.2. 本章从系统、应用、后端架构等维度讲述入侵感知体系的实现方法2. 主机入侵检测2.1. 主机入侵检测系统(Host-based Intrusion Detection System, HIDS)顾名思义是基于主机...

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——网络安全

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。目录网络安全逻辑思维图介绍网络入侵检测传统NIDS开源 SNORT大型全流量NIDS关于D还是P对厂商的建议T级DDoS防御DDoS分类多层防御结构不同类型的企业不同类型的业务服务策略NIPS场景破防和反制立案和追踪链路劫持HTTPDNS全站 HTTPS登录过程加密跨IDC传输加密应用防火...

转载 Golang 知识图谱

Golang知识图谱Go语言设计与实现参考原文链接：https://draveness.me/golang/

原创 git往空仓库push代码和[remote rejected] master -＞ master (pre-receive hook declined)解决办法

记录问题：向空仓库，push代码。问题：往空仓库push代码，方式1是ok的，方式2不行方式1：echo "# go_log" >> README.mdgit initgit add README.mdgit commit -m "first commit"git remote add origin git@github.com:binwater/go_log.gitgit push -u origin master方式2：git clone git@github..

原创 python 知识图谱

转载 服务之间的调用为啥不直接用 HTTP 而用 RPC？

什么是 RPC?RPC原理是什么?什么是 RPC？RPC（Remote Procedure Call）—远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。比如两个不同的服务 A、B 部署在两台不同的机器上，那么服务 A 如果想要调用服务 B 中的某个方法该怎么办呢？使用 HTTP请求 当然可以，但是可能会比较慢而且一些优化做的并不好。RPC 的出现就是为了解决这个问题。RPC原理是什么？ 服务消费方（client）调用以本地调用方式调用服务.

转载 Hadoop之Shuffle机制详解

1.什么是Shuffle机制1.1）在Hadoop中数据从Map阶段传递给Reduce阶段的过程就叫Shuffle，Shuffle机制是整个MapReduce框架中最核心的部分。1.2）Shuffle翻译成中文的意思为：洗牌、发牌（核心机制：数据分区、排序、缓存)2.Shuffle的作用范围一般把数据从Map阶段输出到Reduce阶段的过程叫Shuffle，所以Shuffle的作用范围是Map阶段数据输出到Reduce阶段数据输入这一整个中间过程！3.Shuffle图解上图是官方对S

转载 hadoop streaming编程简单入门示例

火山日常啰嗦hadoop streaming是什么？为什么要用hadoop streaming？hadoop streaming怎么用？接下来我们就来解决这些问题。1、首先，hadoop streaming是一种编程工具，它是由hadoop提供的。2、为什么要用hadoop streaming呢？hadoop框架是用java语言写的，也就是说，hadoop框架中运行的所有应用程序都要用java语言来写才能正常地在hadoop集群中运行。那么问题来了，如果有些开发者就是不会java语言，但是又想使用

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——基础安全措施

前言：高效读书，一张逻辑图读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。基础安全措施逻辑思维图 安全域划分 目的 安全域划分的目的是将一组安全等级相同的计算机划入同一个安全域，对安全域内的计算机设置相同的网络边界，在网络边界上以最小权限开放对其他安全域的NACL（网络访问控制策略），使得安全域内这组计算机暴露的风险最小化安全域划分的目的是将一组安全等级相同的计算机划入同一个安全域，对安全域内的计算机设置相同的网络边界，在网络边界上以最小权限.

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——防御架构原则

前言：高效读书，一张逻辑图带你读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。防御架构原则逻辑思维图防守体系建设三部曲 信息对抗 信息对抗的目的是知己知彼，从两方面进行 数据化数据化指的是企业自身安全风险数据建设与分析，需要根据基线数据、拓扑数据、业务数据梳理清楚可能存在的攻击路径与攻击面，针对性设防社会化这些数据是动态变化的，需要持续运营，对于业务环境变更带来的新的攻击而与路径需要及时补防 技术对抗 针对攻击者.

原创 高质量解读《互联网企业安全高级指南》三部曲（技术篇）——目录

前言：高效读书，一张逻辑图带你读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。防御架构原则 防守体系建设三部曲 大规模生产网络的纵深防御架构 基础安全措施 安全域划分 系统安全加固 服务器4A 网络安全 网络入侵检测 T级DDoS防御 链路劫持 应用防火墙WAF 入侵感知体系 主机入侵检测 检测webshell RASP 数据库审计 入侵检测数据分析平台 入侵检测数据模型 数据链..

原创 高质量解读《互联网企业安全高级指南》三部曲——理论篇

前言：高效读书，一张逻辑图带你读懂、读薄书中重点。注：下面文字只是对逻辑思维图的”翻译“，节省时间，只看图即可。目录理论篇思维导图​安全大环境与切入“企业安全”的视角企业安全是什么CSO企业安全包括哪些事情企业安全涵盖7大领域建议互联网行业安全工作总结互联网企业和传统企业在安全建设中的区别总体上传统企业和互联网企业在安全建设需求上的差异安全建设不同规模企业的安全管理创业型公司大中型企业大型互联网企业生态级企业vs...

原创 一文带你入门golang中zap日志基本应用

原力计划

关于golang中其他各种日志插件对比，这里不再赘述，直奔zap主题，啊哈哈，理论小结+实战，不扯淡，纯干货，嘎嘎，动起来。目录前言使用小结动手实战基于zap+file-rotatelogs实现按天分隔日志基于zap+lumberjack实现按天分隔日志写在最后前言为什么选择zap：zap是非常快的、结构化的，分日志级别的Go日志库 它同时提供了结构化日志记录和printf风格的日志记录以下是Zap发布的基准测试信息记录一条消息和10个字段:P...