- 博客(99)
- 收藏
- 关注
RSS订阅转载 帮你提升 Python 的 27 种编程语言
27 种语言 · 过程型编程语言: C, Rust, Cython · 面向对象数据建模语言: Java, C#, Eiffel · C 的面向对象衍生语言: C++, D · 面向数组的数据处理: MATLAB/Octave, Julia · 统计数数据分析: R · 计算型管道建模: Haskell, Scala, Clojure, F# · 事件...
2018-09-29 16:29:59
127
转载 架构设计之「数据库从主备到主主的高可用方案」
在互联网项目中，当业务规模越来越大，数据越来越多，随之而来的就是数据库压力会越来越大。慢慢就会发现，数据库层可能已经成为了整个系统的关键点和性能瓶颈了，因此实现数据层的高可用就成为了我们项目中经常要解决的问题。 本文我们就来聊一聊如何实现数据存储层的高可用方案。在保障数据层的高性能与高稳定方面，最容易想到的方式就是对数据进行分片、多份、冗余等，很多架构的本质其实...
2018-09-29 16:26:03
542
转载 JavaWeb秒杀业务场景设计
秒杀业务场景设计问题经常被面试的时候被问到,在实际业务中,也常常需要实现,下面我们来看看如何实现秒杀业务. 秒杀业务,是典型的短时大量突发访问类问题 特点: 秒杀时网站的访问量大增; 秒杀时购买的请求数量远小于库存,只有部分用户能够成功; 业务流程简单,根据先后顺序,下订单减库存; 首先看一下普通商品购买业务的基本逻辑 C1.png...
2018-09-29 16:20:19
536
转载 聊聊分布式存储——图解Paxos
在对一个分布式系统进行架构设计时，往往会在可用性和一致性之间反复权衡。为了解决分布式一致性问题，产生了一系列一致性协议和算法。其中比较著名的有：二阶段提交协议(2PC)、三阶段提交协议(3PC)、Paxos算法、Raft 算法等。 动态演示-轻松理解Raft算法 我们知道，信息交换一般有两种方式，一种是通过共享内存共用一份数据;另一种是通过消息投递来完成信息的传递。 在分布式...
2018-09-29 16:18:20
968
转载 只收藏书，不读？我是这样读书的
书籍收藏家 你是否有过这样的经历? 亦或，终于读完了一本书!这本书讲的什么呢?呃。。。。 我在很长一段时间里都有这样的困惑!这种情况导致的结果是，我成了书籍收藏家---买的书里没读完的比读完的多得多! 一天一本书?! 网上有不少网友说自己读书经历，有的一年200多本书，有的一天一本书。我很羡慕他们是怎么做到的? 起初我觉得是自己看书的速度太...
2018-09-29 16:16:07
179
转载 聊聊架构设计做些什么来谈如何成为架构师
在软件开发领域，自从架构这个词被广泛传播之后，产生的架构模式也非常多，架构关注点也在增加。但回到“道”的层面，架构的定义或者说本质还是： 架构，又名软件架构，是有关软件整体结构与组件的抽象描述，用于指导大型软件系统各个方面的设计。 ————摘自《百度百科》 很多做业务功能的增删改查开发感受到无趣的小伙伴常把做架构想象成一片乐土，没有嘈杂的业务声音干扰，可以专心做一番牛...
2018-09-28 15:44:07
132
转载 梯度下降算法原理介绍
梯度下降法 1、梯度： 在微积分里面，对多元函数参数求偏导数，把求的各参数的偏导数以向量的形式写出来，就是梯度。 梯度向量从几何意义上讲，就是函数变化增加最快的地方，沿着梯度向量的方向更容易找到函数的最大值，沿着向量相反的方向，梯度减小最快，更容易找到函数最小值。 2、梯度下降与梯度上升可以互相转化。求损失函数f(θ)的最小值，用梯度下降法迭代，亦可反过来求损失...
2018-09-28 15:35:04
2898
转载 jvm 与java内存模型相关简要概念
jvm jvm执行引擎执行由jvm类加载器加载完毕的各个类的字节码文件，由java编译器将java源代码编译为.class字节码文件 jvm在执行java程序过程中，将自己管理的内存划分为若干不同的数据区域 Java内存的概念：jvm分配的一段空间，用来管理程序运行时的数据与相关信息，被称为运行时数据区Runtime Data Area; 运行时数据区：两部分，线程...
2018-09-28 15:32:11
92
转载 Redis未授权访问漏洞
一、漏洞描述和危害 Redis因配置不当可以未授权访问，被攻击者恶意利用。 攻击者无需认证访问到内部数据，可能导致敏感信息泄露，黑客也可以恶意执行flushall来清空所有数据。 攻击者可通过EVAL执行lua代码，或通过数据备份功能往磁盘写入后门文件，如果Redis以root身份运行，黑客可以给root账户写入SSH公钥文件，直接通过SSH登录受害服务器。 ...
2018-09-28 15:30:09
494
转载 一个致命的 Redis 命令，导致公司损失 400 万！！
最近安全事故濒发啊，前几天发生了《顺丰高级运维工程师的删库事件》，今天又看到了 PHP 工程师在线执行了 Redis 危险命令导致某公司损失 400 万。。 什么样的 Redis 命令会有如此威力，造成如此大的损失? 具体消息如下： 据云头条报道，某公司技术部发生 2 起本年度 PO 级特大事故，造成公司资金损失 400 万，原因如下： 由于 PHP 工程师直接操作...
2018-09-28 15:27:22
179
转载 写好代码的11个技巧
作为一个合格的程序员，有太多的理由促使你去编写干净利落且可读性强的代码。最重要的是因为你编写的代码，将来会有很多人一次次地阅读。当你有一天回过头来看自己的代码时，你就会明白编写优雅的代码是多么的重要。另外，如果别人来阅读你编写的代码，你是否想知道别人看到那些烂代码无比抓狂的感受。因此，花多一点的时间去编写优雅的代码，将来说不定会给你节省更多的时间。 那么，如何编写更棒的代码，下面是11条...
2018-09-27 17:10:18
322
转载 致橡树*发生在Java世界的《飘》
如果你是一个普通的类那我便是你身体里的一个方法成为你的行为模式的抽象为你打点一切如果你是一个对象我一定可以作为你的属性存在帮助你完成存储数据的使命 如果你是一个傲娇的接口我也许会不情愿的作为你的实现但我最终会去实现你心中的实现因为那是一定想要达成的愿望如果你是一个集合我一定是你身体里的一个对象帮你组装这个完美的程序我们会存在于...
2018-09-27 17:05:32
129
转载 Redis 在现实世界的 5 个用法
Redis是一个强大的内存数据结构存储，包含数据库，缓存和消息代理等多种用途。大多数人经常认为它不过是一个简单的键值存储，但其实它有更多的能力。下面我将会总结一些Redis可以做的事情的真实例子。 1.全页面缓存 首先是整页缓存。如果你正在使用服务器端呈现的内容，则不需要为每个单独的请求重新渲染每个页面。使用如Redis这样的缓存，你可以缓存经常请求的内容，从而大大减少请求最...
2018-09-27 17:03:21
111
转载 2018年 九大改变世界的技术趋势
来自：数据观技术的世界正在爆炸式发展，“日新月异”不再是一个修辞，而是正在发生的现实。在这其中，有一些发展趋势注定要改变世界，改变我们的生活方式。在此，我们借鉴美国大数据专家Bernard Marr的观点，为大家介绍2018年最重要的九大技术趋势。趋势1：正在日益增长的“数据化”（datafication）生活使用星享卡购买一杯焦糖玛奇朵，在微信中跟朋友畅聊半宿，抑或是在虾米音乐中...
2018-09-27 16:59:14
121
转载 一起学Hadoop——文件的上传、分发与打包
如果我们想把文件上传到Hadoop集群中，使用put命令即可。下面的语句是将本地文件上传到hadoop集群的/目录下。 hadoop fs -put fruit.txt / 下面介绍通过脚本将文件分发到Hadoop集群的方法。因为Hadoop本身就带有文件自动分发的功能，我们只需在启动hadoop作业的脚本文件中做相应的配置即可。可选的配置项有三个，每个适用的场景都不一样：...
2018-09-26 17:50:52
661
转载 大白话理解LVS DR模型中的arp_ignore
LVS的DR模型中，调度器和所有的Real Server都配置了VIP，且都在同一网段内，那为了保证客户端的arp广播请求只被调度器所响应，必须更改Real Server的arp默认响应规则，这就是修改内核参数arp_ignore 今天我们来解释一下这个参数设置的意义在哪里?为什么要做这种设置? arp_ignore作用：控制系统在收到arp广播请求报文时，是否返回arp响应报文...
2018-09-26 17:48:05
2411
3
转载 zookeeper架构深入浅出
Zookeeper作为一个分布式协调系统提供了一项基本服务：分布式锁服务，分布式锁是分布式协调技术实现的核心内容。像配置管理、任务分发、组服务、分布式消息队列、分布式通知/协调等，这些应用实际上都是基于这项基础服务由用户自己摸索出来的。 zookeeper作为分布式协调系统在大数据领域非常常用，它是一个很好的中心化管理工具。下面举几个常见的应用场景。 ·HA(分布式锁的应用)：Ma...
2018-09-26 17:45:37
95
转载 ArrayList和LinkedList
ArrayList的3种初始化方式 //无参构造方法，默认初始化长度0(java 8) public ArrayList(); //用一个Collection对象初始化长度，并将元素添加到ArrayList中 public ArrayList(Collection c); //指定长度 public ArrayList(int initialCapacity...
2018-09-26 17:43:32
92
转载 Jhipster创建微服务——踩坑
Jhipster与微服务什么是Jhipster?JHipster is a development platform to generate, develop and deploy Spring Boot + Angular/React Web applications and Spring microservices.Jhipster微服务架构图:Jhipster通过使用NE...
2018-09-26 17:41:16
1059
转载 探究SSD写放大的成因与解决思路
笔者目前开发运维的存储系统的服务器都跑在SSD之上，目前单机服务器最大的SSD容量有4T之多。(公司好有钱，以前在实验室都只有机械硬盘用的~~)但SSD本身的特性与机械硬盘差距较大，虽然说在性能上有诸多优势，但是如果使用的方式方法不对，反而会事倍功半。所以笔者花时间调研了一下固态硬盘的结构与特性，并且总结了一些避免SSD写放大性能下降的法则，希望对大家有所帮助~~ ###1.SS...
2018-09-25 17:30:37
602
转载 Java 5，6，7，8，9，10新特性吐血总结
Java 5，6，7，8，9，10新特性吐血总结 java5 1. 泛型 (Generics) Listlist=new ArrayList(); 2. 增强循环(Enhanced for Loop) 3. int[] array = {1, 2, 3, 4, 5}; for (int i : array) { 4. System.out.println(i...
2018-09-25 17:27:35
543
转载 大数据可视化工具圈里的春秋战国
大数据可视化工具因其能将数字变成酷炫的图表而进入大众视野，但大家对该产品的了解还很有限，本文将从竞争格局、发展现状以及未来趋势三个维度具体探究大数据可视化工具市场的发展。 大数据可视化工具的市场竞争格局 海比研究认为，大数据可视化工具的厂商主要来自四类：一类是提供商业智能可视化工具的软件服务商;第二类是新兴可视化工具提供商;第三类是互联网巨头公司;第四类是互联网大数据服务...
2018-09-25 17:24:25
270
转载 访问Hsql .data数据库文件
hsql数据库是一款纯Java编写的免费数据库，许可是BSD-style的协议。 仅一个hsqldb.jar文件就包括了数据库引擎，数据库驱动，还有其他用户界面操作等内容。下载地址：https://sourceforge.net/projects/hsqldb/files/hsqldb/。其中hsqldb-2.4.x 开头的需要jdk8及以上，低于这个版本的比如hsqldb-2.2.9 jdk7可...
2018-09-25 17:21:52
652
转载 Java自定义注解
随着springboot的流行，以前基于XML的spring配置用的越来越少，JavaConfig形式使用的越来越多，类似于: Configurationpublic class AppConfig { @Bean(name=helloBean) public HelloWorld helloWorld() { return new HelloWorldImpl(); }...
2018-09-25 17:12:46
141
转载 SOA架构设计经验分享—架构、职责、数据一致性
1.背景介绍 最近一段时间都在做系统分析和设计工作，面对的业务是典型的重量级企业应用方向。突然发现很多以往觉得很简单的问题变得没有想象的那么容易，最大的问题就是职责如何分配。论系统架构设计的最大的问题，其实也就是职责的分配，分配的合理，实现起来就会很柔性，反之就会使架构很混乱。 软件的生命周期大概可以归纳为四个基本的过程，分析、设计、实现、测试，当然这仅仅是一个最为粗略的表示而已。...
2018-09-21 15:47:12
155
转载 Android架构设计之单例模式
Android架构设计之单例模式 Android架构设计是进阶高级工程师升职加薪必备的技能。结构在所有的 IT 开发中都是非常重要的。一个好的软件架构会使得开发和后期的迭代节省大量的成本。基于此两项目的我们也应该好好的掌握这项技能。另外 Android 的源码中也存在大量的架构设计，如果不能对此有所了解是很难看懂源码的。源码对于我们技能的提升也是非常重要的。掌握架构设计之前必须先掌握设计...
2018-09-21 15:43:17
159
转载 数据预处理—剔除异常值，平滑处理，标准化(归一化)
数据预处理的主要任务如下： (1)数据清理：填写空缺值，平滑噪声数据，识别，删除孤立点，解决不一致性 (2)数据集成：集成多个数据库，数据立方体，文件 (3)数据变换：规范化(消除冗余属性)和聚集(数据汇总)，将数据从一个较大的子空间投影到一个较小的子空间 (4)数据归约：得到数据集的压缩表示，量小，但可以得到相近或相同的结果 (5)数据离散化：数据规约的一部...
2018-09-21 15:39:10
14124
转载 到底什么是TAE
TAE2.0(Taobao App Engine)是针对移动互联网场景的定制化PaaS云服务，基于阿里云基础设施，采用Docker容器技术封装应用运行环境，并且针对互联网应用提供系统构建、发布、持续集成、运维管理的一站式解决方案，让中小团队也具备轻松服务海量用户的能力。 系统构建能力(Build) TAE拥有丰富的镜像资源，例如Java、PHP、MySQL、Redis、Zookee...
2018-09-21 15:30:49
446
转载 Java课程学习路线图
Java是一门面向对象编程语言，不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。千锋Java课程紧跟热门互联网行业，采用真实企业项目实战，并特设专业技能提升课，让学员保持长足的成长。第一阶段1、JavaSE编程基础DOS常用命令安装JDK、设置环境变量DOS系统编译、执行Java程序Java的注释...
2018-09-21 15:27:05
241
转载 小议Lambda 与 Kappa 架构，不可变数据的计算探索
首先我们来看看什么是Lambda架构，Lambda演算在编程语言之中是一个编程范式，它遵循如下几个特点： ·1、数据的不可变性，任何对于数据的操作是没有副作用。 ·2、数据的无依赖性，即对函数提供同样的输入，那么函数总是返回同样的结果。 ·3、函数是First Class，函数与其他数据类型一样，处于平等地位，可以赋值给其他变量，也可以作为参数，传入另一个函数，或者作...
2018-09-20 16:58:08
651
转载 CarbonData，来自华为的中国力量
这篇我们继续深入来看看在存储格式的演变之上有什么新的黑科技。华为公司在2016年开源了类parquet的列存格式：CarbonData，并且贡献给了Apache社区。CarbonData仅仅用了不到一年的时间就成功毕业，成为了Apache社区的顶级项目，CarbonData是首个由华人公司主导的Apache顶级项目，（来源自eBay的Kylin算是首个由华人主导的顶级开源项目）笔者这里还是要向华为...
2018-09-20 16:52:29
869
转载 大数据小视角1：从行存储到RCFile
前段时间一直在忙碌写毕设与项目的事情，很久没有写一些学习心得与工作记录了，开了一个新的坑，希望能继续坚持写作与记录分布式存储相关的知识。为什么叫小视角呢?因为属于随想型的内容，可能一个由小的视角来审视海量数据的存储与计算技术，把知识点分为两到三章来梳理。管中窥豹，可见一斑，希望能利用这个过程提高自己，也欢迎阅读的朋友多指正。第一章先从Facebook的一篇论文《RCFile: A Fast a...
2018-09-20 16:47:09
141
转载 视图、索引、存储过程、事务、函数
1.视图 (1).什么是视图? 视图(View)作为一种数据库对象，为用户提供了一个可以检索数据表中的数据方式。用户通过视图来浏览数据表中感兴趣的部分或全部数据，而数据的物理存储位置仍然在表中。 视图是一个虚拟表，并不代表任何物理数据，只是用来查看数据的窗口而已。视图并不是以一组数据的形式存储在数据库中，数据库中只存储视图的定义，而不存储视图对应的数据，这些数据仍存储...
2018-09-20 16:42:41
488
转载 总结Spring Cloud各个组件配套使用
我们从整体上来看一下Spring Cloud各个组件如何来配套使用： 总结SpringCloud各个组件配套使用 从上图可以看出Spring Cloud各个组件相互配合，合作支持了一套完整的微服务架构。 其中Eureka负责服务的注册与发现，很好将各服务连接起来 Hystrix 负责监控服务之间的调用情况，连续多次失败进行熔断保护。 Hystri...
2018-09-20 16:38:34
179
转载 Java中创建不可变的类
简介：本文主要介绍java中不可变类的相关知识，文章中大部分内容来自博客，博客地址见以下链接 Creating Immutable Classes in Java 小编不去纠结原文中，为什么标题是immutable class，正文却上来便问what is immutable object。相信，学java的人，都应该知道class和object确切表示什么意思。 c...
2018-09-19 16:45:48
415
转载 Java程序猿必须懂的一些异常处理指引
我们经常发现好些java程序猿在编码过程中忽略对异常的处理，或者对异常随意胡乱处理或随便抛出去不管不顾，毫无章法，为应用代码的维护和问题的处理挖了很多坑，让后来维护跟进应用的人想直接问候你妈的心都有，下面根据我的一些经验为大家聊聊作为Java程序猿必须要懂的一些异常处理的指引。 一.关于java异常的基础知识 Java异常以Throwable开始，扩展出Error和Exceptio...
2018-09-19 16:43:17
99
转载 JavaScript异步—— ——异步机制
什么是异步 所谓异步，就是代码执行的顺序并不是按照从上到下的顺序一次性一次执行，而是在不同的时间段执行，一部分代码在“未来执行”。 程序中现在运行部分和未来运行部分的关系就是异步编程的核心 ——— ——《YDNJ》 setTimeout( ()={ console.log('1') },1000) console.log(2) //2 //1 如果没...
2018-09-19 16:40:15
183
转载 深度:Hadoop对Spark五大维度正面比拼！
为了增加混淆，Spark和Hadoop经常与位于HDFS，Hadoop文件系统中的Spark处理数据一起工作。但是，它们都是独立个体，每一个体都有自己的优点和缺点以及特定的商业案例。本文将从以下几个角度对Spark和Hadoop进行对比：体系结构，性能，成本，安全性和机器学习。 每年，市场上都会出现种种不同的数据管理规模、类型与速度表现的分布式系统。在这些系统中，Spark和ha...
2018-09-19 16:37:38
133
转载 Java不可变ArrayList
集合类在Java中是引用类型，在操作的时候可能不经意间被程序修改，一些初级开发经常会犯类似的错误。这里我们讨论下如何让ArrayList不可改变。本文将演示以下几种方式： · JDK · Guava · Apache Commons Collection4 JDK JDK给我们提供了一个很简便的方式从集合中获取一个不可变集合 Collections.unm...
2018-09-19 16:35:23
442
转载 大数据工程师干不过35是真的吗
大数据工程师干不过35？这个真的有点道听途说了，现在大数据技术人才的短缺，在互联网圈里越久，资历越老，越受欢迎。无论是对编程的深入研究，还是对大数据技术的深有体会，都将是每个企业不可多得的人才。当前医疗行业、能源行业、通信行业、零售业、金融行业、体育行业等各行业都可以从其数据的采集、传输、存储、分析等各个环节产生巨大的经济价值，而提供大数据基础设施的企业、大数据软件技术服务的企业、行业大数据内...
2018-09-18 17:06:11
7283
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人