涛濤-CSDN博客

转载 oracle job定时执行存储过程详解

declare job number;begin dbms_job.submit( job =>job, what=>'PROC1;PROC2;', next_date => sysdate, interval =>'TRUNC(SYSDATE

2017-04-25 09:54:59 1302

转载用uid分库，uname上的查询怎么办？

【缘起】用户中心是几乎每一个公司必备的基础服务，用户注册、登录、信息查询与修改都离不开用户中心。当数据量越来越大时，需要多用户中心进行水平切分。最常见的水平切分方式，按照uid取模分库：通过uid取模，将数据分布到多个数据库实例上去，提高服务实例个数，降低单库数据量，以达到扩容的目的。水平切分之后：uid属

2017-04-23 11:28:02 1200

转载 58到家MQ如何快速实现流量削峰填谷

问：为什么会有本文？答：上一篇文章《到底什么时候该使用MQ？》引起了广泛的讨论，有朋友回复说，MQ的还有一个典型应用场景是缓冲流量，削峰填谷，本文将简单介绍下，MQ要实现什么细节，才能缓冲流量，削峰填谷。问：站点与服务，服务与服务上下游之间，一般如何通讯？答：有两种常见的方式一种是“直接调用”，通过RPC框架，上游直接调用下游。

2017-04-23 11:20:20 1994

转载到底什么时候该使用MQ？

一、缘起一切脱离业务的架构设计与新技术引入都是耍流氓。引入一个技术之前，首先应该解答的问题是，这个技术解决什么问题。就像微服务分层架构之前，应该首先回答，为什么要引入微服务，微服务究竟解决什么问题（详见《互联网架构为什么要做微服务？》）。最近分享了几篇MQ相关的文章：《MQ如何实现延时消息》《MQ如何实现消息必达》

2017-04-23 11:12:04 513

转载消息总线真的能保证幂等？

一、缘起如《消息总线消息必达》所述，MQ消息必达，架构上有两个核心设计点：（1）消息落地（2）消息超时、重传、确认再次回顾消息总线核心架构，它由发送端、服务端、固化存储、接收端四大部分组成。为保证消息的可达性，超时、重传、确认机制可能导致消息总线、或者业务方收到重复的消息，从而对业务产生影响。举个栗子：

2017-04-23 11:04:58 1745

转载消息总线能否实现消息必达？

一、缘起上周讨论了两期环形队列的业务应用：《高效定时任务的触发》《延迟消息的快速实现》两期的均有大量读者提问：任务、延迟消息都放在内存里，万一重启了怎么办？能否保证消息必达？今天就简单聊聊消息队列（MsgQueue）的消息必达性架构与流程。二、架构方向MQ要想尽量消息必达，架构上有两个核心设计点：

2017-04-23 10:56:00 1693 1

转载 1分钟实现“延迟消息”功能

一、缘起很多时候，业务有“在一段时间之后，完成一个工作任务”的需求。例如：滴滴打车订单完成后，如果用户一直不评价，48小时后会将自动评价为5星。一般来说怎么实现这类“48小时后自动评价为5星”需求呢？常见方案：启动一个cron定时任务，每小时跑一次，将完成时间超过48小时的订单取出，置为5星，并把评价状态置为已评价。假设订单表

2017-04-23 10:50:04 1495 3

转载 10w定时任务，如何高效触发超时

一、缘起很多时候，业务有定时任务或者定时超时的需求，当任务量很大时，可能需要维护大量的timer，或者进行低效的扫描。例如：58到家APP实时消息通道系统，对每个用户会维护一个APP到服务器的TCP连接，用来实时收发消息，对这个TCP连接，有这样一个需求：“如果连续30s没有请求包（例如登录，消息，keepalive包），服务端就要将这个用户的状态置为离线”。

2017-04-23 10:45:00 1206

转载百度如何能实时检索到15分钟前新生成的网页？

一、缘起《深入浅出搜索架构（上篇）》详细介绍了前三章：（1）全网搜索引擎架构与流程（2）站内搜索引擎架构与流程（3）搜索原理与核心数据结构《深入浅出搜索架构（中篇）》介绍了：（4）流量数据量由小到大，常见搜索方案与架构变迁（5）数据量、并发量、扩展性架构方案本篇将讨论：（6）百度为何能实时检索出15分钟

2017-04-23 10:34:35 713

转载深入浅出搜索架构（中篇）—就是这么迅猛的实现搜索需求

一、缘起《深入浅出搜索架构（上篇）》详细介绍了：（1）全网搜索引擎架构与流程（2）站内搜索引擎架构与流程（3）搜索原理与核心数据结构本文重点介绍：（4）流量数据量由小到大，常见搜索方案与架构变迁（5）数据量、并发量、扩展性方案只要业务有检索需求，本文一定对你有帮助。二、检索需求的满足与架构演进

2017-04-23 10:24:11 683

转载深入浅出搜索架构引擎、方案与细节（上）

一、缘起《100亿数据1万属性数据架构设计》文章发布后，不少朋友对58同城自研搜索引擎E-search比较感兴趣，故专门撰文体系化的聊聊搜索引擎，从宏观到细节，希望把逻辑关系讲清楚，内容比较多，分上下两期。主要内容如下，本篇（上）会重点介绍前三章：（1）全网搜索引擎架构与流程（2）站内搜索引擎架构与流程（3）搜索原理、流程与核心数据结构（4

2017-04-14 20:25:14 851

转载 Oracle 增加修改删除字段

添加字段的语法：alter table tablename add (column datatype [default value][null/not null],….);修改字段的语法：alter table tablename modify (column datatype [default value][null/not null],….);删除字段的语法：alter tab

2017-03-29 09:40:27 279

转载 Java面试问题集合

转载自：http://www.th7.cn/Program/java/201609/971295.shtmlhashcode、equals解决多线程死锁、reentrantLock、synchronized关键字优劣tomcat中多线程并发接收http请求的代码直接在终端怎么去发一个HTTP请求java中的类加载器，tomcat为什么要自定义类加载器ja

2017-03-28 21:51:10 330

转载一分钟自己创建连接池

转载自：http://mp.weixin.qq.com/s/DVjUKkArMaKSb2hTGTpiVg一、如何通过连接访问下游工程架构中有很多访问下游的需求，下游包括但不限于服务/数据库/缓存，其通讯步骤是为：（1）与下游建立一个连接（2）通过这个连接，收发请求（3）交互结束，关闭连接，释放资源这个连接是什么呢，通过连接怎么调用下游接

2017-03-26 10:46:45 1755

转载 100亿数据平滑数据迁移,不影响服务

一、问题的提出互联网有很多“数据量较大，并发量较大，业务复杂度较高”的业务场景，其典型系统分层架构如下：（1）上游是业务层biz，实现个性化的业务逻辑（2）中游是服务层service，封装数据访问（3）下游是数据层db，存储固化的业务数据服务化分层架构的好处是，服务层屏蔽下游数据层的复杂性，例如缓存、分库

2017-03-24 12:54:37 3063 3

原创 Java面试-进阶(二)

高并发网站怎样应对1、网页尽量静态化，减少后台请求次数，动态资源和静态资源分离；2、CDN，加强网络层硬件配置3、多台服务器集群负载均衡；4、使用单独的图片服务器，降低服务器压力，使其不会因为图片加载造成崩溃5、分布式缓存，对常用功能建立缓存模块；7、数据库读写分离或数据切分（垂直或水平）；8、服务分布式部署。9、使用镜像

2017-03-24 12:38:26 427

原创 Java面试-进阶(一)

Java面试-进阶1.斐波那契数列的递归实现2.给定2,3,5面值的硬币若干，给出一个数字，计算拼凑这个数字最少用到硬币的个数3.有10亿个数字，如何找出top1004.volatile解决了什么问题，原理是什么5.ThreadLoacl的原理是什么，怎么用6.简述GC

2017-03-24 12:31:02 410

转载 Oracle中的正则替换【REGEXP_REPLACE】和正则like【REGEXP_like】

Oracle中的正则替换【REGEXP_REPLACE】和正则like【REGEXP_like】下面图片中有三种“加瓦”，Java,Java,JAVAselect regexp_replace(city,'java','苍井空',1,0,'i') from lidw li regexp_replace(1,2,3,4

2017-03-22 16:08:25 2658 1

转载 oracle sys_connect_by_path 函数

个人觉得这个函数其实很好用，sys_connect_by_path(字段名, 2个字段之间的连接符号)，注意这里的连接符号不要使用逗号，Oracle会报错，如果一定要用，可以使用replace替换一下，方法如下 REPLACE(字段名,原字符,',')。还有，这个函数使用之前必须先建立一个树，否则无用。举个例子：目的：将num值相等的项目写成 seq1,seq2,seq3,……的形

2017-03-22 14:24:12 492

转载 Oracle Connect By Prior（递归查询）

oracle中的select语句可以用START WITH...CONNECT BY PRIOR子句实现递归查询，connect by 是结构化查询中用到的，其基本语法是：select ... from where start with connect by ;：过滤条件，用于对返回的所有记录进行过滤。：查询结果重起始根结点的限定条件。：连接条件

2017-03-22 14:09:45 121

原创 Oracle常用函数instr()substr()decode()

在Oracle中可以使用instr()函数对某个字符串进行判断，判断其是否含有指定的字符。在一个字符串中查找指定的字符,返回被查找到的指定的字符的位置。语法： instr(sourceString,destString,start,appearPosition) instr（'源字符串' , '目标字符串' ,'开始位置','第几次出现'）其

2017-03-22 13:48:34 1371

转载 Java面试宝典之--基本功

1.什么是Java虚拟机？为什么Java被称作是“平台无关的编程语言”？Java虚拟机是一个可以执行Java字节码的虚拟机进程。Java源文件被编译成能被Java虚拟机执行的字节码文件。Java被设计成允许应用程序可以运行在任意的平台，而不需要程序员为每一个平台单独重写或者是重新编译。Java虚拟机让这个变为可能，因为它知道底层硬件平台的指令长度和其他特

2017-03-21 17:24:25 343

转载 Java程序员之技术进阶之路

什么都不用说,图是最生动形象的

2017-03-20 17:10:36 2662 1

转载一位10年Java工作经验的架构师聊Java和工作经验

黄勇（博客），从事近十年的 JavaEE 应用开发工作，现任阿里巴巴公司系统架构师。对分布式服务架构与大数据技术有深入研究，具有丰富的 B/S 架构开发经验与项目实战经验，擅长敏捷开发模式。国内开源软件推动者之一，Smart Framework 开源框架创始人。热爱技术交流，乐于分享自己的工作经验。著有《架构探险——从零开始写Java Web框架》一书。我的十年技术之路CSDN：

2017-03-20 15:28:47 5773

转载解决docker镜像无法下载的问题

克服跨洋网络延迟，使用Docker Hub Mirror加速Docker官方镜像下载http://cloud.51cto.com/art/201501/463536.htm此篇文章给了我启示，可是我没能将上面文章中的方式应用上，但是我从daocloud.io中找到了另外获取镜像的方式如下图，在镜像仓库中可以找到镜像的地址，其他镜像地址可以以此类推：

2017-03-17 15:06:54 5068

转载 Docker搭建JDK,Tomcat运行环境

Docker搭建JDK,Tomcat运行环境docker常用命令:http://blog.csdn.net/admin1973/article/details/628868341 Docker与虚拟机2 搭建过程2.1 准备宿主系统准备一个 CentOS 7操作系统，具体要求如下：必须是 64 位操作系统建议内核在

2017-03-17 14:13:47 1709

转载 Docker常用命令

1. 查看docker信息（version、info）# 查看docker版本 $docker version # 显示docker系统的信息 $docker info 2. 对image的操作（search、pull、images、rmi、history）# 检索image $docker search image_name # 下载image

2017-03-17 13:44:32 448

原创 Java MapReduce 基本计算操作实现实战

Java MapReduce 基本计算操作实现实战特别注意: 1.在运行代码的过程中注意自己本地Hadoop版本必须与服务器版本一致,否则会出现许多意向不到的问题; 2.数据之间不能有空行间隔; 3.解析字符串时使用的StringTokenizer,单词间隔必须是空格,否则也将解析失败; 4.可以将输入数据放在本地也可以上传至HDFS上,使用时指定文件夹Path

2017-03-14 10:06:39 8698 2

转载 Hadoop 常用命令

bin/Hadoop dfsadmin -safemode leave ，安全模式设置enter - 进入安全模式leave - 强制NameNode离开安全模式get - 返回安全模式是否开启的信息wait - 等待，一直到安全模式结束。格式化namenode：./bin/hdfs namenode –format6.启动Ha

2017-03-13 12:25:53 383

原创 Hadoop Mapreduce Java操作实例

Mapreduce简介:http://blog.csdn.net/admin1973/article/details/60956943部分内容转载自:http://my.oschina.net/itblog/blog/275294分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，

2017-03-10 15:59:16 4890

原创 Linux下安装Hadoop集群(三台一主二从)

Linux下安装Hadoop集群(三台一主二从)准备环境:安装三台Centos7虚拟机集群规划master192.168.113.130jdk、hadoopnamenode ressourcemanagerslave1192.168.113.131jdk、hadoopdatanode secondn

2017-03-10 12:07:15 720

原创 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.搭建好Hadoop集群后写java程序测试确出现如下异常:2017-03-10 11:48:49,887 ERROR [main] util.Shell (Shell.java:getWinUti

2017-03-10 11:47:40 880

原创 Linux上安装JDK

Linux上安装JDK从网上下载jdkwget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.

2017-03-09 13:15:24 1755

转载 MapReduce简介

MapReduce简介参考自[http://www.cnblogs.com/swanspouse/p/5130136.html]MapReduce定义：MapReduce是一种可用于数据处理的编程框架。MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果

2017-03-09 11:26:20 857

原创 Hadoop集群常用命令

启动脚本脚本说明启动脚本脚本说明 start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 T

2017-03-09 09:42:40 571

原创 Name node is in safe mode.

Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create file/test/sogou_pinyin_80k.exe. Name node is in safe mode.Th

2017-03-09 09:30:33 537

转载 Hadoop-HDFS运行原理

简介HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。HDFS有很多特点： ① 保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。 ② 运行在廉价的机器上。

2017-03-08 20:44:36 309

原创 Java访问Hadoop实践

Java访问Hadoop实践要想访问Hadoop集群,你当然要自己有一个集群呀,否则怎么test,此处有教你怎样用虚拟机搭建Hadoop集群http://blog.csdn.net/admin1973/article/details/60874923此处记录用java访问Hadoop集群HDFS,简单操作源码下载地址:http://download.csdn.net/det

2017-03-08 17:10:59 8334 1

原创 Linux CentOS7安装Hadoop2.7集群

Linux CentOS7安装Hadoop2.7集群总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7 Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Mast

2017-03-08 16:26:15 1207

转载 Java 内存模型及GC原理

一个优秀Java程序员，必须了解Java内存模型、GC工作原理，以及如何优化GC的性能、与GC进行有限的交互，有一些应用程序对性能要求较高，例如嵌入式系统、实时系统等，只有全面提升内存的管理效率，才能提高整个应用程序的性能。本文将从JVM内存模型、GC工作原理，以及GC的几个关键问题进行探讨，从GC角度提高Java程序的性能。一、Java内存模型按照官方的说

2017-03-07 14:42:04 264