老农民挖数据

转载 漫谈IT项目团队管理心得

漫谈IT项目团队管理心得如果在软件项目实施中选出最难解决的几个问题，那么管理问题一定名列前茅。在管理问题中，团队管理又是其中的难点。一个项目管理的好坏，很大程度就体现在团队的建设和管理上。团队管理涉及到管理学、心理学和哲学等诸多方面内容，具体实施起来还容易产生许多误区，因此，对项目主管的综合素质要求颇高。笔者进入项目管理领域的时间尚短，最近读了一些书籍，结合自己的一些经验，汇成一些心得体会，愿与朋友们共同提高。　　1、什么是团队管理?　　举个简单的例子：如果有一车沙从大厦顶上倒下来，对地面的冲击是不

原创 in为什么慢

IN为什么慢？在应用程序中使用子查询后，SQL语句的查询性能变得非常糟糕。例如：SELECT driver_id FROM driver where driver_id in (SELECT driver_id FROM driver where _create_date > ‘2016-07-25 00:00:00’);独立子查询返回了符合条件的driver_id，这个问题是解决了，但是所用的时间需要6秒，可以通过EXPLAIN查看SQL语句的执行计划：可以看到上面的SQL语句变成了相关

转载 分类算法 c4.5 详解

C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数据集，其中的每一个元组都能用一组属性值来描述，每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习，找到一个从属性值到类别的映射关系，并且这个映射能用于对新的类别未知的实体进行分类。 C4.5由J.Ross Quinlan在ID3的基础上提出的。ID3算法用来构造决策树。决策树是一种类似流...

转载 Oracle本地索引与全局索引

http://blog.itpub.net/29478450/viewspace-1417473/Oracle本地索引与全局索引原创Oracle作者：luoleiAaron时间：2015-01-27 21:55:5874590内容整理来自网络分区索引分为本地索引(local index)和全局索引(global index)。对于local索引，每一个表分区对应...

原创 程序员纪念日

原创 程序员与羊肉粉

好久没有更新了 

转载 BITMAP CONVERSION FROM ROWIDS

http://www.xifenfei.com/2011/09/bitmap-conversion-from-rowids.html 在有些执行计划中，可以会看到 BITMAP CONVERSION FROM ROWIDS这样的东东，也许你会感觉奇怪，我没有使用位图索引怎么出现了bitmap。我通过一个sql和大家分析下原因：sql语句为： SELECT *   FR...

原创 mysql分区

1.建立分区表CREATE TABLE `brd_collection_01` ( `id` INT(11) NOT NULL AUTO_INCREMENT, `addtime` INT(11) NOT NULL COMMENT '时间', `sex` INT(1) DEFAULT NULL COMMENT '性别 1男 2女', `card_type` INT(11) ...

转载 架构文章

https://blog.csdn.net/Professorphp/article/details/80608780收藏了

原创 maven打包

<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId>

转载 ClassLoader.loadClass()与Class.forName()的区别

ClassLoader.loadClass()与Class.forName()大家都知道是反射用来构造类的方法，但是他们的用法还是有一定区别的。 在讲区别之前，我觉得很有不要把类的加载过程在此整理一下。 在Java中，类装载器把一个类装入Java虚拟机中，要经过三个步骤来完成：装载、链接和初始化，其中链接又可以分成校验、准备和解析三 步，除了解析外，其它步骤是严格按照顺序完成的，各个步...

原创 bootstrap table 导出xlsx

 想要实现导出功能，必须要4个js这里可以下载：https://download.csdn.net/download/shushugood/10605776<!-- table_export--> <script type="text/javascript" src="lib/bootstrap/table_export/bootstrap-table-exp...

原创 oracle rac 11gR1 电源割接，交换机掉电，3节点全故障

话说这几年，一直玩的11gR2,       11gR1 确实没用过。没有grid用户，没有asm，心里不踏实。现在已经启动完成，马上分享下，启动的进程有哪些。如果无法启动，只能手动启动各进程。下图是在启动时，发现节点2 无法正常启动。 我们看节点1正常的。 crs进程有哪些，见下图[root@racdb1 startup]# ps -ef|grep crsroot ...

原创 bootstrap 如何转换时间 + 列宽处理

先看列部分的代码 <script> $(document).ready(function() { //调用函数，初始化表格 var oTable = new TableInit(); oTable.Init(); }); var Table...

原创 大数据运营监控系统

从6月1号 开始，到现在8月1号，独立完成2个后台程序+ 1个web程序内容包含：1.dubbo服务的后台入库2. 分布式采集入库 springboot + eureka + rabbitMQ +springMVC +spring clound+ mysql+ durid连接池3. web展示 springboot + mysql+ jquery + js + 网5+ css +b...

原创 brackets-emmet 配置

1.复制下方链接 下载文件得到：brackets-emmet-1.2.1.zip文件https://s3.amazonaws.com/extend.brackets/brackets-emmet/brackets-emmet-1.2.1.zip 2.打开Brackets，在 帮助 ——>显示扩展目录 找到user文件夹打开，在当前文件夹中创建一个node_modules，将第...

转载 MYSQL面试 必会

源：http://blog.51cto.com/sumongodb/1948631葵花宝典Question 1：你目前接触的mysql版本是什么？除了官方版本，还接触过其他的mysql分支版本嘛？产生分支的原因许多开发人员认为有必要将其拆分成其他项目，并且每个分支项目都有自己的专长。该需求以及Oracle对核心产品增长缓慢的担忧，导致出现了许多开发人员感兴趣的子项目和分支三...

原创 oracle split分区脚本

declare v_sql varchar2(1000);BEGIN FOR outcur IN ( select '20180719' partition_time,'GSCS_IIGLOG' as table_name from dual union all select '20180719' partition_time,'SFCS_SSLOG' as...

原创 抓取oracle建表语句

set echo OFF;SET feedback OFF;SET pagesize 0;set trimspool ON;SET linesize 10000;set heading OFF;set term OFF;SET showmode OFF;SET VERIFY OFF;DROP TABLE tmp_tabsql; CREATE TABLE tmp_tabsq...

原创 oracle导出jobs

今天刚好遇到疫苗事件， 心情有点复杂， 别人挣钱才轻松哦，NNDcreate or replace procedure proc_generate_job_create_sql is begin DBMS_OUTPUT.ENABLE(buffer_size => null); --表示输出buffer不受限制 sys.dbms_output.put_line...

转载 oracle RAC如何正确地删除ASM磁盘组

原为：https://blog.csdn.net/zengxuewen2045/article/details/78230036?locationNum=3&fps=11.检查确认要删除的磁盘组是否在用select * from dba_data_files;select * from dba_temp_files;select * from v$logfile;2.先在各节点上...

转载 CRS-2640: Required resource crvctl启动实例（更新crs信息，其实db是手动startup的）

原文：http://blog.itpub.net/26175573/viewspace-1288966/ 当你删除了一个磁盘组后没有及时在crs里更新，这样当你重启crs后 db不会起来，因为crs里仍然记录以前的 diskgroup当你启动时候就是报错如下srvctl start instance -d darin -i darin1PRCR-1013 : Failed to star...

原创 RabbitMQ 实例(一对一、一对多、多对多、多对一)

原理就不说了，自己先百度。 我们不做理论高手， 我们要实战。现在网上的博客太混乱了，有些贴出来完全是错误的，很容易误导我们理解。我这里主要是分享代码，让你们在电脑上跑起来。 在看下面之前，先看我上一篇博客 https://blog.csdn.net/shushugood/article/details/81076917，  在本地把自己的rabbitmq服务先跑起来把。目录结构...

原创 rabbit-mq 本地环境搭建

一：安装RabbitMQ需要先安装Erlang语言开发包，直接下载地址：http://erlang.org/download/otp_win64_18.3.exe尽量安装时不选择C盘，避免操作系统负载加大。  二：安装RabbitMQ Server 直接下载地址：http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.9/...

原创 java.util.LinkedHashMap cannot be cast to

上图就是我用restful接口收到的 对象。转为list报错。那么我是怎么解决的呢。步骤3步：1.我先用ResponseEntity<String> ec = restTemplate.getForEntity("http://hello/returnlog", String.class);  得到json2.我用jackson mapper, 把json转为对象数组。ObjectMa...

转载 Maven pom.xml中的元素modules、parent、properties以及import

原文：https://www.cnblogs.com/youzhibing/p/5427130.html前言　　项目中用到了maven，而且用到的内容不像利用maven/eclipse搭建ssm(spring+spring mvc+mybatis)用的那么简单；maven的核心是pom.xml，那么我就它来谈谈那些不同的地方；　　给我印象最深的就是如下四个元素：modules、parent、pro...

原创 jdbcTemplate.batchUpdate在批量执行的时候，性能差没有效果，看看怎么解决的。

我用的阿里druid数据库连接池，创建jdbctemplate在执行insert 15000条数据时 ，我发现还是30条，20条，35条这样提交。 完全没有batch的效果。 查看数据库，5秒才267条。在等20秒看，才5130条。说明这个批量执行，没有生效。================================1. 我们再来，我改造了参数。15000条，数据5秒就搞定。2.、再试一次 ...

原创 oracle 绑定变量不走索引

优化来了，优化来了，组长你来搞定嘛，结果一看，sql抓取出来，秒杀。我优化个串串。因为我看了执行计划没有错。 结果是绑定变量不走索引SQL> explain plan for select /*+ first_rows(100) */ PHONE, IMSI, RPHONE, RIMSI, CALLEDNUM, TMSI, IMEI, SUBEVTTYPE, RESUL...

原创 spring配置数据源连接池(c3p0)

我是maven工程application.xml<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:d...

原创 java.util.Date 与 java.sql.Date 如何转换才能成功入库

package com.broadtech.bdvmonitor.test;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.Timestamp;import com.broadtech.bdvmonitor.utils.Jdbc...

原创 MYSQL单行长度不能超过 65535

报错：Row size too large. The maximum row size for the used table type, not counting BLOBs, is 65535. mysql属于关系型，行式数据库， 规定单行长度不能超过65535一点都不过分。 你想当你超过65535后， 查询的iops怎么撑得住。当我抓取日志入库的时候， 发现定义列太短了， 于是把varchar...

原创 dubbo服务 无法消费提供者的bean

这是dubbo服务中，缺包的表现简单说来，Hessian是一个轻量级的RPC框架(RPC是什么？请参考这里)。它基于HTTP协议传输，使用Hessian二进制序列化，对于数据包比较大的情况比较友好。但是它的参数和返回值都需要实现Serializable接口。依赖包有hession.jar 、 dubbo.jar、 zkClient.jar  。那么在pom中添加 <dependen...

原创 线程池与线程 java

1.为什么要使用线程池在java中，如果每个请求到达就创建一个新线程，开销是相当大的。在实际使用中，服务器在创建和销毁线程上花费的时间和消耗的系统资源都相当大，甚至可能要比在处理实际的用户请求的时间和资源要多的多。除了创建和销毁线程的开销之外，活动的线程也需要消耗系统资源。如果在一个jvm里创建太多的线程，可能会使系统由于过度消耗内存或“切换过度”而导致系统资源不足。为了防止资源不足，服务器应用程...

原创 dubbo 搭建分布式项目

原理我就不解释了，先百度下。在搭建之前，我们先把zookeeper启动，挂在那里。zookeeper的搭建很简单，请参考：https://blog.csdn.net/shushugood/article/details/808030441.服务提供方1.1 先创maven项目1.2 把pom.xml 配置改了， 把相关的包，让其自动下载完，<project xmlns="http://mav...

原创 zookeeper搭建(简单易学)

1.官网可下载：http://www.apache.org/dyn/closer.cgi/zookeeper/ 我这里下载的zookeeper-3.4.12.tar2.配置下载并解压，Zookeeper 的配置文件在 conf 目录下，有 zoo_sample.cfg 和 log4j.properties，将zoo_sample.cfg 重命名成zoo.cfg，因为 Zookeeper 在启动时会...

原创 ERROR 1874 (HY000): InnoDB is in read only mode.

公司同事，mysql掉电，文件损坏，在恢复过程中，遇到表只读

原创 解决xshell@换行问题

命令：stty kill '^X'racdb2:/home/oracle #more .profilestty kill '^X'ORACLE_BASE=/u01/app/oracle; export ORACLE_BASE PATH=$PATH:$ORACLE_HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin; export PATHNLS_LANG=ame...

转载 hive 结合执行计划 分析 limit 执行原理

http://blog.51cto.com/yaoyinjie/923378 在hive查询中要限制查询输出条数， 可以用limit 关键词指定，如 select columnname1 from table1 limit 10; 这样hive将输出符合查询条件的10个记录，从根本上说， hive是hadoop提交作业的客户端，它使用antlr词法语法分析工具，对SQL进行分析优化后翻译成一系列M...

原创 大数据详单表存储、查询方案

详单表采用分区表（外部表）， 在查询时，引擎用的impala，偶尔会出现卡住的情况，影响用户体验。 正常情况3-5秒出数据，卡住就不好说了，有时120秒，有时150秒,,,,,,,,,,,有3种方案：1.当天的数据就让其实时入库， 昨天以及之前的数据，分表存储（迁移到另外的历史表中），实现冷热分离。查询较多的，主要是当天， 意思就是，当天的数据不管读写分不分离，最多17个小时（客户17点下班） ，...

原创 mysql也有dblink

mysql也有dblink哟，小姐姐，你没有听过吧，看小哥哥给你测试。先看看mysql有哪些引擎，凯美瑞是双擎混动，mysql是10个引擎，并且还可以加先看看mysql版本mysql> select version();+-----------+| version() |+-----------+| 5.7.16 |+-----------+1 row in set (0....