- 博客(31)
- 收藏
- 关注
RSS订阅原创 web交互的时候ini-set('memory', 'xxxM')不生效问题
问题描述针对不同环境，不同执行方式。ini_set('memory', 'xxxM')表现不同 web controller返回false,命令行(console controller)成功设置 线下本机，web和console形式都生效，但放到线上web controller设置失败 ini_get('memory')在web controller环境始终等于一个固定值 报错为php...
2018-10-26 16:56:31
634
原创 Windows常见开发错误解决之道
问: 运行软件的时候提示缺少dll文件，无法运行错误。例如Win10安装MYSQL，提示运行缺少MSVCP100.dll答:百度搜索directx repair增强版工具，自动检测缺失并安装后重启解决...
2018-09-29 15:07:05
288
原创 报表类大数据数据存储方案和财务数据脱敏
工作需求:存储: mysql数据量: 每月100w~500w现状: 当前存储没有问题，单月查询在总表2000w之内，索引优化好，能支撑现有业务需求:业务比较稳定后业务方有跨月查询的需求，折中估计每月250w数据，查询12月，数据量为3000w，单表数据量突破经验值2000w常规的索引优化左襟见拙分析: 分表是是不可行，当前跨月的报表分析结果主要为一个复杂的查询，全量聚合操作+子...
2018-07-18 16:59:48
2106
原创 MySql存储过程调试
如何加log？ 如何判断当前卡在那个小分片sql语句上了？ 发现卡壳，如何杀掉语句1、如何加log？答：第一种在控制台，用于显示，比如sql1 和sql2之前想加打印日志。可以用SELECT “内容1”，“内容2”;打印格式为我们表格形式，每一个逗号之间都为表格的一个字段。例子:SELECT 'sql' AS '业务流程', FROM_UNIXTIME(tmp_stamp) A...
2017-12-23 16:29:32
2077
原创 MySql FEDERATED ENGINE总结使用
该引擎使用的业务场景:当需要跨库(跨不同的mysql实例)进行表的JOIN，相当于本地表一样去JOIN的时候可以考虑使用FEDEATED引擎，用FEDEATED引擎只需要在本地建立一张链表和订单表一样的字段只是引擎选择为FEDEATED，来指向真实的订单表，就相当与引用。后面我们会有例子来进行实际说明业务场景: 例如你在数据统计的时候既要用到订单表又要用到仓储的表常规做法 用编...
2017-12-23 16:28:37
1703
原创 Presto Web UI选型
实际生产中我们的WEB UI选型为zeppelin,用户认证用的是,下面是我网摘的，等我消化一下会更新文章WebUI1、AirPal（推荐）AirPal是AirBnb开源的查询Presto的WebUI。 项目特性：可选的用户访问控制SQL语法高亮查询结果导出到CSV文件，或者存到Hive表中可查看SQL查询的历史记录可保存查询根据表名搜索对应的表可查看表
2017-11-23 17:07:13
7485
原创 Presto简介相关
我在实际业务中用Presto的原因第一点也是最重要的一点跨库和跨数据源，什么概念？跨库：mysql中有A库a表，B库b表，用Presto SQL可以实现a,b两表的join操作。跨数据源:mysql中有A库a表，oracle中有B库b表，用Presto SQL可以实现a,b两表的join操作。集群部署，可水平扩展增强大的Presto SQL查询速度客户端可以是PHP，JAVA, Pyt
2017-11-16 16:17:03
1377
2
原创 php yii2跑数出现mysql-gone-away-2006解决
PHP yii2Array( [0] => HY000 [1] => 2006 [2] => MySQL server has gone away)
2017-10-13 10:30:03
2119
原创 2016 年度开源中国新增开源软件排行榜 TOP 100
2016 年度开源中国新增开源软件排行榜 TOP 100技术选型比较好的参考，以备不时之需点击打开链接
2017-10-13 09:52:52
490
原创 第三章 Hadoop分布式文件系统
Hadoop是一个综合性的文件系统抽象，可以集成不同的文件系统（如本地文件系统和Amazon S3系统）HDFS的设计HDFS以流式数据访问模式来存储超大文件，运行于商用的硬件集群上1、超大文件。目前已有PB级数据的Hadoop集群了2、流式数据访问。一次写入，多次读写。长时间在数据集上各种分析每次分析都将涉及数据集的大部分或者全部。强调读取整个数据集的时间3、商用硬件
2017-07-17 09:39:09
342
原创 第二章 关于MapReduce
Unix传统处理按行存储数据工具是awkMapReduce任务分为两个处理阶段:Map阶段和Reduce阶段。每个阶段都以键值对作为输入和输出，其类型有程序员来选择。程序员还需要些两个函数:map函数和reduce函数map阶段为数据的准备阶段，此处我们比较合适去除去已损记录的地方，比如筛选缺失，可疑，错误的数据防止覆盖的一个思路：reduce写入目录。在运行作业前该目录是如果存在
2017-07-14 16:10:47
392
原创 第一章 初识hadoop
容量的单位顺序:从小到大1024MB->GB->TB->PB->EB->ZB->YB名言：大数据胜于好算法大数据真实需求案例：邮件公司日志，每月运行一个mapreduce，任务帮助公司决定在哪些Rackspace数据中心需要添加新的服务器硬盘操作的延迟主要受两方面影响：1、寻址时间:将磁头移动到特定的硬盘位置进行读写操作的过程2、传输速率
2017-07-14 15:28:01
363
原创 mysql同一帐户远程连接和本地连接权限不一致
背景：在本地装了一个mysql，在远程客户端连接时候，同样是root帐户，本地可以创库，远程无法创库且本地能看到数据库比远程客户端的多 mysql> select version();+-------------------------+| version() |+-------------------------+| 5.7.18-0ubu...
2017-06-30 15:45:07
1171
原创 玩一玩java定时器
首先我要给大家介绍的是Timer这个类和ScheduledExecutorService这个类java.util.Timerjava.util.concurrent.ScheduledExecutorService神马？不知道我要讲什么，好吧 ，直接抛代码现在用定时器，实现每三秒打印我一次，我很帅。实力三秒男 哈哈哈方式一：用Timer类import j
2016-08-12 10:54:17
793
原创 ThreadLocal的理解
ThreadLocal是什么 ThreadLocal，顾名思义，它不是一个线程，而是线程的一个本地化对象。当工作于多线程中的对象使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程分配一个独立的变量副本。所以每一个线程都可以独立改变自己的副本，而不会影响其他线程所对应的副本。从线程的角度看，这个变量就像是线程的本地变量，这也是类名中"Local"索要表达的意
2016-08-10 14:54:42
380
原创 第二章 线程安全性
线程安全的定义：当多线程访问某个类的时，这个类始终能表现出正确的行为，那么就称这个类是线程安全的。We know it when we see it线程安全的发生条件： 1，多线程的环境 2，访问共享(Shared)和可变(Mutable)状态的访问无状态定义：它既不包含任何域，也不包含对其他类中域的引用，无状态的对象是线程安全的，servlet是无状态
2016-08-10 14:16:32
343
原创 第一章 简介
线程的优势 发挥多处理器的强大能力 由于基本的调度单位是线程，因此如果在程序中只有一个线程，那么最多同时只能在一个处理器上运行。在双处理器系统上，单线程的程序只能使用一半的cpu资源，而在拥有100个处理器的系统上，将有99% 的资源无法使用。在GUI应用，线程可以提高用户界面的响应灵敏度。在服务器应用中，可以提升资源利用率已经系统吞吐率 异
2016-08-10 14:15:21
472
原创 @Configuration和@Bean的用法和理解
Spring Boot提倡约定优于配置，如何将类的生命周期交给spring1、第一种自己写的类，Controller，Service。 用@controller @service即可2、第二种，集成其它框架，比如集成shiro权限框架，集成mybatis分页插件PageHelper，第三方框架的核心类都要交于Spring大管家管理@Configuration可理解为用spring的时候
2016-07-25 10:54:54
69125
9
原创 web项目读取classpath下面文件心得总结
阅读之前须知：本文用到spring的工具类和，commons-io工具类首先分两大类按web容器分类一种是普通的web项目，像用Tomcat容器，特点是压缩包随着容器的启动会解压缩成一个文件夹，项目访问的时候，实际是去访问文件夹，而不是jar或者war包这种的无论你是用获取路径的方法this.getClass().getResource("/")+fileName，获取流的方法this
2016-07-12 12:19:39
26711
6
原创 freemarker,*.ftl文件在eclipse中正确的打开方式
jsp玩腻了也来尝尝freemarker做前端的展示问题，eclipse默认打开ftl，无高亮解决方式一：下载ec lipse相关的freemarker插件解决方式二:本文重点介绍的，原生解决方式，方法特点无需下载插件，和eclipse编辑html和jsp文件一模一样步骤：1：windows---prefenrences---general---edirors---Fi
2016-06-03 15:34:18
15664
原创 mybatis generator一款mybatis反向生成工具
本文主要介绍mybatis generator作为插件在eclipse中使用有mybatis generator windows直接使用的版本，其和这配置文件类似，个人觉得当做插件来用更顺手百度MyBatis_Generator_1.3.1，下载，减压，并复制并复制这两个文件到自己的eclipse安装目录中，不会eclipse插件安装的请baidu。重启后new---other就有
2016-02-25 14:50:33
2829
原创 HashMap实现简单的缓存Cache
真实项目中，如果并发访问量多，必然对项目的性能有所要求，也自然而然的用到缓存机制，当下针对Java已经有成熟的和优秀的缓存框架Ehcache、Jboss cache等等。今天呢，我就想用咱们jdk自带的HashMap来实现简单的缓存。项目需求： 用户查到数据，查询条件相同时，第一次走数据库，第二次以后再一段时间内走缓存，提高响应的速度涉及的知识： 线程池
2016-01-27 11:34:21
5549
原创 消息队列Java的简单实现
今天看到我们的招牌信息有对消息队列有要求，然后就思索了一翻，网上一搜一大堆。我可以举个小例子先说明应用场景假设你的服务器每分钟的处理量为200个，但客户端再峰值的时候可能一分钟会发1000个消息给你，这时候你就可以把他做成队列，然后按正常有序的处理，先进后出(LIFO)，先进先出(FIFO）可根据自己的情况进行定夺stack 先进后出(LIFO)--------java 对应的类 S
2016-01-07 15:07:07
38291
7
原创 巧妙的...【可变数组】参数校验非空工具类
实际开发中，经常有用到到参数的非空判断，最原始的我们肯能个用==null啊，equal啊，trim啊来组合判空。但有了appache的commons lang出的StringUtil之后判空的工作量有所减轻，但笔者在实际中经常遇到参数的非口校验，具体是http接口这种业务场景于是不甘啊，自己写了一个工具类，顺便用一下...这个鬼/*** * 抽出来的可变参数校验非空的方法 *
2015-12-18 17:44:07
1011
原创 Java泛型<? extends Person>和<? super Man>的理解
首先回顾一下SE5泛型的基本用法1、用在类级别public class Person {}//类后面2、用在方法级别public String function(){ return "hell genaric"; }//返回值前面接下来今天的重头戏来了和这两个鬼。首先我来构建一个继承关系吧Person >> Man >> BoyPerson >>
2015-12-18 16:46:28
1074
原创 初识算法：猜生日
猜生日 今年的植树节（2012年3月12日），小明和他的叔叔还有小伙伴们一起去植树。休息的时候，小明的同学问他叔叔多大年纪，他叔叔说：“我说个题目，看你们谁先猜出来！”“把我出生的年月日连起来拼成一个8位数（月、日不足两位前补0）正好可以被今天的年、月、日整除！” 他想了想，又补充到：“再给个提示，我是6月出生的。” 根据这些信息，请你帮小明算一下，他叔叔的出生年
2015-12-18 10:50:52
1872
原创 解决没有my.ini配置文件MySql Error Code: 2006 – MySQL 服务器已离线错误
下载了mysql的是免装版的，第一没有my.int这个文件，只有my-default.ini这个配置文件，服务里面一也没有mysql的服务问题描述，在导入300多M.sql脚本文件的时候出现MySql Error Code: 2006 – MySQL 服务器已离线错误下面我教大家来解决这个问题搜索了MySql Error Code: 2006 – MySQL 服务器已离线错误的解决方案，普
2015-12-03 17:42:38
2381
原创 JAVA多线程死锁简单Demo
死锁概念，AB线程，A持有a锁B持有b锁，A在等待b锁，而B在等待a锁发生场景之一：同步嵌套简单的嵌套造成死锁的Demo:class Lock implements Runnable{ private boolean flag; public Lock(boolean flag){ this.flag = flag; } @Override public void r
2015-12-03 10:31:31
1536
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人