- 博客(99)
- 收藏
- 关注
RSS订阅转载 博客
大数据教程导航：http://www.tunan.work:8090/archives/%E6%9E%97%E5%AD%90%E9%9B%A8%E5%A4%A7%E6%95%B0%E6%8D%AE%E8%BD%AF%E4%BB%B6%E5%AE%89%E8%A3%85%E5%92%8C%E7%BC%96%E7%A8%8B%E6%8C%87%E5%8D%97%E5%AF%BC%E8%88%...
2019-09-02 20:34:00
193
转载 Sublime Text3搭建完美开发环境（Python+PHP+Javascript+nodejs+C++）
一、Sublime配置（如已安装Package Control可跳过） sublime下载地址：http://www.sublimetext.com/3 安装Package Control插件： 直接下载：https://packagecontrol.io/Package%20Control.sublime-package，将所下载的文件放在C:\Users\Admin...
2019-07-30 13:40:00
257
转载 《分布式系统关注点——数据一致性（上篇）》阅读笔记
所谓每个事物都是矛盾统一的结合体，都具有两面性。分布式系统再带来了前面提到的好处的同时，也带来了业界普遍认为最大的问题 —— 数据一致性问题。系统是给人用的，构成使用场景的概念叫业务。业务是核心，对一个系统来说，业务的发展归根到底是建立在数据之上的。我可以慢、可以宕机、可以搞得很复杂，这些都能忍，但唯独不能忍的就是数据问题，数据错误、数据不一致等等。分布式就意味着分治与协作，...
2019-06-18 17:28:00
184
转载 《技术三板斧：关于技术规划、管理、架构的思考》阅读笔记
实践需要理论的指导，理论从实践中来。作为技术工程师，要不断地从事件中反思经验、总结规律，才能避免踏入同一个坑，才能更高效地完成KPI，甚至是晋升。这篇来自阿里巴巴高级技术专家毕啸的文章，从五个方面总结了工程技术的核心要点，使作为学生的我受到很大启发。在多数课程中，仅仅学到了软件开发技术的冰山一角，而对架构的思考甚少。在这篇文章中，遇到很多并不了解的词汇，如什么是技术规划、KPI等等。...
2019-06-09 10:35:00
255
转载 支付宝架构师眼中的高并发架构
高并发经常会发生在有大活跃用户量，用户高聚集的业务场景中，如：秒杀活动，定时领取红包等，这些活动与我的生活息息相关，作为一名软件工程专业学生，实现这种高并发的技术使我着迷，因为我将来也有一条会遇到这些问题，于是我点开了这篇文章想去一探究竟。一个可以支持高并发的服务，必定少不了好的服务器架构，这些架构大致有：l 服务器：均衡负载、资源监控、分布式；l 数据库：主从分离，集群...
2019-06-02 11:07:00
102
转载 《互联网高薪的原因、现状、未来，还值不值得进来？》阅读笔记
这篇文章的标题让给我的感觉是，在我们一头扎进互联网的海洋中去努力谋生时，有人站在更高的角度来思考这个问题。带着求知的精神，点开这篇文章。首先说互联网高薪的原因，主要是4G网络的扩建、4G手机的普及以它们导致的网民倍增、移动互联网爆发现状是，中国手机网民几乎全面覆盖未来5年，业务、从业人员数量没有有效增量，互联网仍然是高薪行业。而关于“还值不值得进来”，在一开始，我就...
2019-05-26 14:58:00
76
转载 SOA架构设计
架构是—套构建系统的准则，通过这套准则，把—个复杂的系统划 分为一套更简单的子系统的集合，这些子系统之间保持相互独立，并与 整个系统保持一致，而且每—个子系统还可以继续细分下去，从而构成 —个企业级架构。 SOA是一种面向企业级服务的系统架构，简单来说，SOA就是一种 进行系统开发的新的体系架构，在基于SOA架构的系统中，具体应用程 序的功能是由一些松耦合并且具有统一接口定义方式的组...
2019-05-24 10:36:00
154
转载 《gPRC使用protobuf构建微服务》阅读笔记
首先我需要去了解一些概念，根据百度百科了解到：l 微服务架构：微服务架构是一项在云中部署应用和服务的新技术。微服务可以在“自己的程序”中运行，并通过“轻量级设备与HTTP型API进行沟通”。l gPRC：gRPC 是一款高性能、开源的 RPC 框架，产自 Google，基于 ProtoBuf 序列化协议进行开发，支持多种语言。我们过去根据 MVC 划分目录结构，由Cont...
2019-05-19 15:18:00
568
转载 《分布式架构中数据一致性常见的几个问题》阅读笔记
在分布式下，有多台机器共同进行数据的存储、处理、响应请求等，这是，我们会有这样的问题：跨系统间分布式事务如何解决？系统内多个服务的分布式事务如何解决？一个服务内多个数据源/数据库的分布式事务如何解决？域是一个虚拟的分类，几个系统属于某一个域，例如网上银行和手机银行都属于电子渠道领域；传统的单体应用，指的就是系统，在微服务架构下，单体应用采用前后端分离模式，前端一般使用 Nginx...
2019-05-12 15:27:00
74
转载 《记一次Linux被入侵全过程》阅读笔记
此前从未了解过关于网络安全相关方面的内容，仅仅知道安全性是软件必不可少的质量属性之一，而由于自己所做项目对安全性需求基本为无，所以很少对此进行关注。今天看到作者系统被入侵的经验，于是点开来读，以积累他人的经验，对此进行防范。他们的服务器于某日早上发现被阿里云冻结，理由是：对外恶意发包，默认的22端口被封掉，通过其它端口直接连了上去，登录名为root，不足8位的小白密码，显然被黑了。...
2019-05-05 15:59:00
168
转载 《【架构设计之道】这一波优雅的操作，会把你的中间件系统架构带到另一个Level》阅读笔记...
（1） Master-Slave架构这个中间件系统的本质是希望能够用分布式的方式来处理一些数据，但是具体的作用涉及到核心技术，这里不能直接说明。但是他的核心思想，就是把数据分发到很多台机器上来处理，然后需要有一台机器来控制N多台机器的分布式处理，大概如下图所示。既然是分布式的处理，就肯定涉及到在Master中要维护这个集群的一些核心元数据。比如说数据的分发处理...
2019-04-28 16:10:00
46
转载 《牛逼的架构师是怎么练成的？》阅读笔记
一位旅行者路过一个烈日下的工地，所有人都在汗流浃背地搬砖。旅行者问第一个人在干什么，那人头也没抬地回答：“我在搬砖。”旅行者问第二个人在干什么，这个匆匆抬起头认真地说：“我在砌墙。”旅行者问第三个人在干什么的时候，那个人脸上充满了光彩，很自信地说：“我在盖圣玛利亚大教堂。”这个故事像极了我们从事软件开发工作的不同阶段的不同状态。每当听到从程序员到架构师的书或者文章时，我们总是...
2019-04-21 16:18:00
86
转载 《牛逼的架构师是怎么练成的？（非技能篇）》阅读笔记
主动学习。学习不是强加于自己做的事情，是需要主动做的事情，仅仅掌握知识不去实践是没用的，古人已经总结了，『纸上得来终觉浅，绝知此事要躬行』，学习也需要方式方法，需要目标反馈，针对自己在日常项目遇到的问题去学习再进行实践验证学习效果会更好。SMART目标就能很好的帮助如何学习。＊S：Specific(具体的):首先，一个目标任务应该是具体的，把学习的目标具体化，例如：『我想用PHP写一...
2019-04-14 16:25:00
84
转载 《牛逼的架构师是怎么炼成的？（技能篇）》阅读笔记
对于初级开发工程师的要求就是得到项目组的认可，如何得到项目组的认可呢？不管哪个职级的公司成员，首先要对自己做出的事情负责，上面的流程中发现一个问题，功能开发结束提测后，测试成员进行测试的时候，发现功能不能正常运行，无法开展测试工作。这自然是不合理的，会影响测试成员对研发成员的信任、还会影响测试成员的工作积极性，信任就类似刷信用卡，当你的信用值逐次降低，其他成员就很难相信你，演化到最后就是...
2019-04-07 16:33:00
76
转载 分步取模原理
很多算法用到了分步取模运算，算法中用到一个结论(a * b + c)%m = (( a % m ) * b + c)%m，但都没有特别清楚地说明为什么可以这么算，只是提到用以下两个公式：(a + b) % p = (a % p + b % p) % p ①(a * b) % p = (a % p * b % p) % p ②经过探究发现，设a=k1m+b1，b...
2019-04-07 12:36:00
419
转载 《关于第三方支付，看这篇文章就够了！》阅读笔记
随着移动支付的快速发展，第三方支付已经深度融入到生活中，如果生活在一二线城市，从吃饭、购物、看电影、菜市场买菜到搭公交地铁，我们能想到的消费场景，基本都可以用移动支付解决。在这些便捷的背后都有第三方支付在支撑，虽然我们每天都在接触第三方支付，但真的了解第三方支付吗？第三方支付（英语：Third-Party Payment）指的是由第三方业者居中于买卖家之间进行收付款作业的交易方式。此...
2019-03-31 16:46:00
467
转载 实验5 Spark SQL编程初级实践
今天做实验【Spark SQL 编程初级实践】，虽然网上有答案，但在自己的环境下并不能够顺利进行在第二题中，要求编程实现将 RDD 转换为 DataFrame。根据所谓标准答案，在进行sbt 打包时，报如下错误[error] /home/hadoop/mycode/rddtodf/src/main/scala/rddtodf.scala:1: object types is no...
2019-03-26 20:35:00
2634
转载 《谈谈架构层级的“开闭原则”》阅读笔记
“对修改关闭，对扩展开放”是在设计模式课程中我学到“开闭原则”的内容，该原则对软件设计适用，也对软件架构适用。“开闭原则”其具体含义是：一个类对扩展是“开”放的，而对变更是封“闭”的，意思是说，应该在不改变类的前提下扩展一个类的行为。通常的方式是继承和多态。在架构层级，我们并不会变更系统的一部分功能（可能是最适用于当前架构的进程，守护进程，服务，或者微服务），而是通过新增功能的方式来...
2019-03-24 16:54:00
74
转载 《最全的微服务知识科普》阅读笔记
微服务的好处是：实现跨团队的解藕，实现更高的并发（目前单机只能实现c10k）不用在拷贝代码，基础服务可以公用，更好的支持服务治理，能够更好的兼容云计算平台。rpc:向调用本地方法一样调用远程函数客户端：一般利用动态代理生成一个接口的实现类，在这个实现类里通过网络把接口名称，参数，方法序列化后传出去，然后控制同步调用还是异步调用，异步调用需要设置一个回调函数，客户端还需要维护负载均...
2019-03-17 17:00:00
112
转载 《MySQL命令执行过程和存储引擎概述》阅读笔记
使用MySQL的完整过程：启动MySQL服务器程序。启动MySQL客户端程序并连接到服务器程序。在客户端程序中输入一些命令语句发送到服务器程序，服务器程序收到这些请求后，会根据请求的内容来操作具体的数据。也就是说，MySQL服务器程序才是真实数据的管理者，它负责解析各个客户端发来的各种请求并返回相应的执行结果！不论客户端程序和服务器程序是采用哪种方式进行通信，...
2019-03-10 17:21:00
71
转载 《一篇文章读懂HTTPS及其背后的加密原理》阅读笔记
HTTPS（Hypertext Transfer Protocol Secure，超文本传输安全协议），是以安全为目标的HTTP通道，简单讲是HTTP的安全版。这篇文章深入介绍了它的原理。当我们适用浏览器发送比较隐私的数据时，如果适用http进行通信，则安全性将得不到保障。在数据传输过程中，数据可能会被中间人抓包拿到，那么数据就会被中间人窃取。数据被中间人拿到之后，可能会对数据进行篡...
2019-03-03 17:12:00
163
转载 腾讯云Windows Server下nodejs websocket ssl配置
1.从腾讯云申请SSL证书，下载解压，得到如下文件：2.nodejs代码： 1 // wss.js 2 3 const fs = require('fs'); 4 5 // 一些配置信息 6 const cfg = { 7 port: 8888, 8 ssl_key: 'ssl.key', //这里填Ap...
2018-11-29 13:07:00
425
转载 Windows下运行MapReduce程序出现Could not locate executable null\winutils.exe in the Hadoop binaries....
运行环境：windows10 64位，虚拟机：Ubuntu Kylin 14.04，Hadoop2.7.1错误信息：java.io.IOException: Could not locate executable D:\hadoop\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shel...
2018-11-14 11:20:00
151
转载 如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop（伪分布式）
因为计算机配置过低，在虚拟机里几乎无法使用Eclipse，效率极低！ 所以现在尝试使用Windows下Eclipse操作虚拟机中Hadoop，步骤如下： 开发环境：Hadoop2.7.1，Ubuntu Kylin 14.04 1.修改配置文件core-site.xml，将其中localhost改为虚拟机的ip地址： 在Ubuntu中，打开控制台，使用命令ifc...
2018-11-14 00:05:00
320
转载 假期周进度报告(三)
本周学习了大数据部分基础知识转载于:https://www.cnblogs.com/lzq666/p/9414395.html
2018-07-29 00:29:00
49
转载 假期周进度报告(二)
本周继续做参加的互联网+创新创业大赛项目，完成“跟党走”小程序开发转载于:https://www.cnblogs.com/lzq666/p/9356738.html
2018-07-22 12:05:00
83
转载 假期周进度报告(一)
本周学习了MyBatis框架、ORACLE数据库，并继续做互联网加项目转载于:https://www.cnblogs.com/lzq666/p/9311858.html
2018-07-15 09:19:00
64
转载 MyBatis_HelloWorld
MyBatis是目前使用最多的ORM框架之一，今天学习了MyBatis基本配置，使用MyBatis读取数据库内容并直接映射为对象MyBatis简化了DAO层与DB层间操作下面通过最简单的一个实例了解MyBatis一、构建项目1.建立JAVA项目结构如下，导入MySQL、MyBatis jar包：2.Mybatis数据库如下：建表SQL语句： 1 S...
2018-07-09 16:39:00
109
转载 《梦断代码》读后感03
我们常视艺术活动与科学工作为绝不相干之事，但两者实有类同。科学与艺术以不同的比例分据了创作与洞见的多数工作。 工程师当然要在艺术与科学的深渊上搭起桥梁。工程常被定义为将科学原则应用于满足人类需要。但它也让科学原则背上创意的负担，将他们从质朴的抽象里拉到挫折与愿景的妥协宇宙中。如果我们所见，软件有时会难以应付，是因为它不可见。不可见之物难以设想，而高度复杂的不可见物作为沟通的话题...
2018-04-22 21:51:00
63
转载 《梦断代码》读后感02
项目预期时间难以估计在《梦断代码》第一章得到体现。“死定了”赤裸裸地展示了开发人员的无奈与绝望。 从这本书中我了解到“软件缺陷列表”是伴随他们工作，无法甩掉的苦恼，软件缺陷列表存在于一个叫做Bugzilla的程序中，每位程序员都必须将自己的列表输入Bugzilla，并且说明每个任务预计花费时间。这让我联想到过去我们使用的敏捷开发流程，将每人每个任务以及完成时间都记录下来，提醒成...
2018-04-15 21:17:00
91
转载 《梦断代码》读后感01
为提高自己阅读能，另外也在老师的要求下，我从图书馆借了一些软件工程专业相关的书籍，有的是讲开发技术，有的是软件需求，有的是软件理论，而《梦断代码》却是在讲故事，看了它之后我才恍然大悟：我还没有真正了解过真正的软件开发工作的真实面貌。对于软件开发行业，我仅仅听到老师讲过凤毛麟角，仅仅在知乎上看到过它的冰山一角，“1/3编码，2/3文档”可能就是我对软件开发最熟悉的认识了。而《梦断代...
2018-04-08 20:42:00
125
转载 系统利益相关者描述案例
河北科技创新平台年报系统利益相关者描述案例1.涉众概要2.涉众简档3.用户概要4.用户简档转载于:https://www.cnblogs.com/lzq666/p/8764680.html...
2018-04-07 15:49:00
135
转载 《人月神话》读后感03——人月神话
本书第一章提到，过去几十年的大型系统开发犹如一个焦油坑，很多大型和强壮的动物在其中剧烈挣扎。各种问题纠结在一起，团队的行动越来越慢。他们大多开发出了可运行的系统，但只有极少数的项目满足了目标。 究其原因，首先，我们对估算技术缺乏有效的研究，总是假设“一切都将运作良好”，但事实往往不是这样，在我们编程的时候也从中了解，不经测试一下子写100或1000行代码不出错的概率几乎为零，同...
2018-04-01 22:21:00
75
转载 《人月神话》读后感02——职业的苦恼
然而，任何事物都有两面性，开发软件这个过程并不是全都是快乐，在学校编程时我已经体会到寻找BUG原因的艰辛，但当积累了足够经验的时候，这个过程对目前来讲还是So easy，也许以后会有更富有挑战性的困难等着我。从书中我了解到一些软件开发职业的固有苦恼。 作者认为，学习编程最困难的部分，是将做事的方式向追求完美的方向调整。在我看来，追求完美必意味着消耗大量时间，这对我造成了一定的困...
2018-03-25 21:43:00
60
转载 PHP基础
简介： php(Hypertext Preprocessor，超文本预处理器)是一种通用开源脚本语言 php在服务器上执行，结果以纯HTML代码形式返回给浏览器 PHP 文件可包含文本、HTML、JavaScript代码和 PHP 代码一、语法：PHP 脚本可以放在文档中的任何位置。PHP 脚本以 <?php 开始，以 ?> 结束：1 &...
2018-03-23 18:47:00
208
转载 《人月神话》读后感01
不要说自己没有时间，时间就像海绵一样，挤一挤总会有的。 这本书我听到过很多次，很多老师都提到过。《人月神话》出版几十年后依然被业内人士极力推荐，是许多专家从国外精选的极品，作为软件工程专业的学生，今天我终于静下心拿起它认真阅读，受益颇深。 从这本书正文第一页，我了解到，软件工程绝不是一蹴而就的事情，“过去几十年的大型系统开发就犹如这样一个焦油坑，很多大型和强壮的动物在其中...
2018-03-18 21:12:00
60
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人