- 博客(89)
- 收藏
- 关注
RSS订阅转载 如何部署maven web项目
按照以前的思路，需要将web项目部署到tomcat服务器上，然后启动tomcat，maven管理的工程肯定是需要通过maven来完成部署的，具体操作有好几种方法。 编写一个servlet用于测试 为了测试部署之后项目可用，我们至少得写一个servlet。 在src/mian/java下新建包：com.panda.webdemo.servlet，并在该包新建类:HelloS...
2018-10-31 17:06:22
3062
转载 删除数据库日志文件的方法
你曾经有在执行SQL的时候，数据库报事务日志已满，然后执行报错。然后纠结于怎么删除数据库日志，捣鼓半天吗，现在就提供两种删除日志文件的方法，希望能够帮到你! 阅读目录 • 方法一：手工操作 • 方法二：存储过程代替手工操作 • 示例存储过程下载 回到顶部 方法一：手工操作 1.数据库-右键-属性-选项-恢复模式-由完成切换成简单 2.数据库-右键...
2018-10-31 17:01:44
4965
转载 大数据基础知识全集，大数据爱好者收藏必备
j现在市面上的大数据产品太多了，但它们还远远没达到像 IaaS 层那样的标准化程度，每个产品之间的差别也并不是特别明确清晰。很多企业在做大数据平台或大数据方案的时候，常常不知道该选用哪些产品来满足自己的需求。一般的做法是做调研、学习、搭环境、测试、做各种产品的集成，但通常这个过程会很漫长，成本也很高。 我们希望这些事情都交给云平台来做，云上所有的产品都可以一键部署、一键伸缩，不论是加节点...
2018-10-31 16:58:37
267
转载 Neo4j 图数据库基础
对于海量的各种非结构化信息来说，图数据库已经成为帮助收集、管理和搜索大量数据的技术。我们将使用开源图数据库软件 Neo4j 来研究图数据库。 在本文中，我将向你展示图数据库的基础知识，帮助你快速了解概念模型。在第二篇中，我将向你展示如何启动 Neo4j 数据库，并使用内置的浏览器工具填充一些数据。而且，在本系列的最后一篇文章中，我们将探讨一些在开发工作中使用的 Neo4j 编程库。 ...
2018-10-31 16:56:21
601
转载 程序员必学的十个算法
算法一：快速排序算法 快速排序是由东尼•霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(n log n)次比较。在最坏状况下则需要Ο(n2)次比较，但这种状况并不常见。事实上，快速排序通常明显比其他Ο(n log n) 算法更快，因为它的内部循环(inner loop)可以在大部分的架构上很有效率地被实现出来。 快速排序使用分治法(Divide and conquer...
2018-10-31 16:53:17
212
转载 几种简单的文本数据预处理方法
将开头和结尾的一些信息去掉，使得开头如下： One morning, when Gregor Samsa woke from troubled dreams, he found himself transformed in his bed into a horrible vermin. 结尾如下： And, as if in confirmation of their new...
2018-10-30 17:35:59
756
转载 数据库和数据仓库你应该知道的
问题导读：1. 什么是数据仓库2. 数据仓库与数据库的区别3. 数据仓库的适用场景Hive作为Hadoop生态圈重要的一员已经被我们所熟知，它作为一个基于Hadoop的数据仓库工具，用来做离线的数据分析工作。那么什么是数据仓库，它与我们经常使用的数据库有什么不同呢？数据仓库（Data Warehouse）是一个面向数据分析的集成化数据环境，它可以通过对大量数据进...
2018-10-30 17:30:28
370
转载 HotSPot虚拟机对象探秘
当虚拟机遇到一条含有new的指令时,会进行一系列对象创建的操作 1.检查常量池中是否有要创建的这个对象所属类的符号引用 ·若无,说明这个类还没有被定义!抛ClassNotFoundException ·若有,转2 1.检查这个符号引用所代表的类是否已被JVM加载 ·若否,就找该类的class文件,并加载进方法区 ·若是,转3 1.根据方法区中该类的信息...
2018-10-30 17:27:02
99
转载 死磕JVM-Java虚拟机对象
现在我们进一步来探究内存上存储的数据是怎么创建的，内存大小又是怎么分配的，数据创建成功后怎么被访问的。我们以Java虚拟机中最大的内存块Java堆为例子来探究上面的三个问题。 Java堆上对象的创建 Java虚拟机遇到一条new指令后，首先会去检查要创建的对象能否在常量池中定位到其对应类的符号引用，并且检查这个引用代表的类是否已经被加载、解析和初始化过，如果没有则先进行类加载过程。...
2018-10-30 17:24:00
101
转载 MySQL数据库管理常用命令小结
MySQL数据库的管理对数据库来说是至关重要的一个环节，要想懂得MySQL数据库的管理必须从基础做起，只有先知道了数据库管理时使用的命令，实际操作起来就容易很多。下面就是MySQL数据库管理常用命令： 1. 安装利用RPM包安装Mysql，设置TCP 3306端口的iptables。 2. root密码管理设置root用户的密码mysqladmin -uroot password '...
2018-10-30 17:21:13
216
转载 几种简单的文本数据预处理方法
将开头和结尾的一些信息去掉，使得开头如下： One morning, when Gregor Samsa woke from troubled dreams, he found himself transformed in his bed into a horrible vermin. 结尾如下： And, as if in confirmation of their new...
2018-10-29 17:47:13
1168
转载 AWS上的计算和存储服务
AWS是个很有意思的、经过体系化思考的生态系统，最近看了一下跟大数据相关的几个AWS服务：S3, Athena, Redshift, EMR, Glue等等。这里从数据存储和计算引擎的角度分析一下AWS的这几个服务。 拿马老板的话说这是个DT的时代，DT时代什么最重要? 当然是数据了。但是数据本身并不会带来价值，从数据里面得到的对业务的洞见才是。为了要能从数据中获得洞见，我们要把数...
2018-10-29 17:43:05
642
转载 归一化与标准化详解
归一化(Normalization) 1.把数据变为(0，1)之间的小数。主要是为了方便数据处理，因为将数据映射到0～1范围之内，可以使处理过程更加便捷、快速。 2.把有量纲表达式变换为无量纲表达式，成为纯量。经过归一化处理的数据，处于同一数量级，可以消除指标之间的量纲和量纲单位的影响，提高不同数据指标之间的可比性。 主要算法： 1.线性转换，即min-max归...
2018-10-29 17:40:30
578
转载 python准确判断文件类型
判断文件类型在开发中非常常见的需求，怎样才能准确的判断文件类型呢?首先大家想到的是文件的后缀，但是非常遗憾的是这种方法是非常不靠谱的，因为文件的后缀是可以随意更改的，而大家都知道后缀在linux系统下是没有这个概念的，所以仅靠判断后缀无法准确判断一个文件的类型。还有第二种方法是判断文件的头，每种文件在文件的头中会标识这种文件的类型，下面我们来看看如何用python来判断文件的类型。 ...
2018-10-29 17:37:04
6661
转载 简单理解接口测试
什么是接口? 上面是百度给我的答案，那么具体是什么意思呢? 打两个比方： 1.我们通过上下和楼层按钮来乘坐电梯，这些按钮就是电梯的接口，不管电梯内的具体的算法怎么变，我们都是这么坐电梯的。 2.现在洗衣机都是自动化的，先泡再洗再漂再甩，那么甩干是怎么知道自己要工作了呢，必须要由漂洗给它发送消息，我干完了到你了，也就是说两者存在交互，就是说两者之间存在接...
2018-10-29 17:34:15
189
转载 50行Python爬取猫眼电影TOP100榜单信息
j今天，手把手教你入门 Python 爬虫，爬取猫眼电影 TOP100 榜信息。 对于 Python 初学者来说，爬虫技能是应该是最好入门，也是最能够有让自己有成就感的，今天，练习 Python 的手把手系列，手把手教你入门 Python 爬虫，爬取猫眼电影 TOP100 榜信息，将涉及到基础爬虫架构中的 HTML 下载器、HTML 解析器、数据存储器三大模块： HTML ...
2018-10-26 17:13:03
610
转载 数据库的辅助工具：My-SqlViewer
阅读目录·开始·My-SqlViewer 使用说明·程序安装及启动说明·程序主界面·DataBase浏览器·搜索数据库·存储过程的复制·比较数据库今天发一个我自己写的且经常使用的数据库的辅助工具：My-SqlViewer由于我比较喜欢使用存储过程，但发现不管是SQL Server Management Studio Express还是MySql的各类乱七八糟...
2018-10-26 17:10:34
501
转载 大数据data开发有哪些好的辅助工具?
作为一个程序员开发工具好比是人的手和脚，只有把这些开发工具用好，才能做好一个产品的需求。大多使用SQL数据库存储/检索数据，如今很多情况下，它都不再能满足我们的需求。下面小编就介绍一些大数据data开发常用的辅助工具。 开源企业搜索平台：Solr 用Java编写，来自Apache Lucene项目。Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-...
2018-10-26 17:07:16
146
转载 JUnit5中支持Excel数据驱动
今天就介绍下如何通过junit5的参数化方法，来支持Excel文件的参数化 MethodSource Junit5当中新增的ParameterizedTest注解，可以在对应的测试方法中携带参数，并且支持多种参数源，参见前文Junit5中实现参数化测试。 而其中的MethodResource方法可以自己定义一个参数实现方法 这里MethodSource所使用的参数方法...
2018-10-26 17:04:35
757
转载 Java单例模式：饿汉与懒汉区别
单例模式(Singleton Pattern)是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。 注意： 1、单例类只能有一个实例。 2、单例类必须自己创建自己的唯...
2018-10-26 17:02:00
257
转载 Mybatis的SqlSession运行原理
(1)SqlSession简单原理介绍 SqlSession提供select/insert/update/delete方法，在旧版本中使用使用SqlSession接口的这些方法，但是新版的Mybatis中就会建议使用Mapper接口的方法。 映射器其实就是一个动态代理对象，进入到MapperMethod的execute方法就能简单找到SqlSession的删除、更新、查询、选择方法...
2018-10-25 17:54:38
244
转载 几种简单的文本数据预处理方法
将开头和结尾的一些信息去掉，使得开头如下： One morning, when Gregor Samsa woke from troubled dreams, he found himself transformed in his bed into a horrible vermin. 结尾如下： And, as if in confirmation of their new...
2018-10-25 17:52:26
485
转载 Java开发环境搭建和环境变量配置
1、配置环境变量 在计算机属性-高级系统设置; (1)JAVA_HOME - 配置JDK安装路径，jdk文件目录 (2)PATH - 配置JDK命令文件的位置 (实际上就是jdk的bin目录的位置) (3)CLASSPATH - 配置类库文件的位置 (lib目录,要将 .class文件所在目录加入到PATH中，前缀为.;两个英文字符) 2、安装jdk和jre程...
2018-10-25 17:49:04
142
转载 Java 中的 String 真的是不可变吗？
我们都知道 Java 中的 String 类的设计是不可变的，来看下 String 类的源码。 可以看出 String 类是 final 类型的，String 不能被继承。其值 value 也就是对字符数组的封装，即 char[]，其值被定义成 private final 的，说明不能通过外界修改，即不可变。 来看下面这个例子。 你有可能会问：str 不是由Python 变成...
2018-10-25 17:43:52
91
转载 Hive多字段分组取Top N且保留某列不相同记录
一、问题背景 1.先吐槽一下中国联通自己的大数据开放能力平台提供的计算集群，Hive用的1.1，Spark用的1.5，Kafka0.8，我的天呐，原始的让人抓狂，好多已经写好的模型都要重写...... 2.数据格式 第一列是device_number，第二列是prod_name，第三列是score，第四列是flag; 问题是： 对于红色的1区域：...
2018-10-25 17:39:02
579
转载 IP、TCP和DNS与HTTP的密切关系
这次讲讲IP、TCP和DNS与HTTP的密切关系。 知识点 •IP协议的概念与作用 •TCP协议的概念与作用 •TCP协议的三次握手过程 •DNS的概念与作用 •HTTP与TCP、IP和DNS的关系 一、IP协议的概念与作用 IP的概念： 英文为Internet Protocol，翻译成网际协议，位于网络层。 这个网际协议这个名字听起...
2018-10-24 17:17:43
219
转载 HashMap的工作原理
HashMap的工作原理是近年来常见的Java面试题。几乎每个Java程序员都知道HashMap，都知道哪里要用HashMap，知道Hashtable和HashMap之间的区别，那么为何这道面试题如此特殊呢?是因为这道题考察的深度很深。这题经常出现在高级或中高级面试中。投资银行更喜欢问这个问题，甚至会要求你实现HashMap来考察你的编程能力。ConcurrentHa...
2018-10-24 17:12:46
95
转载 带你深入浅出学习大数据：价值链之数据生成
阶段I:数据生成 本次主要分享大数据源的两个方面:大数据源的历史趋势和三种典型的数据源。 一、数据源 大数据生成的发展趋势可由数据产生速率来描述。随着技术的发展，数据产生速率也不断增长。事实上，IBM认为现在世界上90%的数据是近两年产生的。数据爆炸的原因被广为争论。Cisco认为数据的增长来自于视频、互联网和摄像头。由于数据实际上是能被计算机可读的信息抽象，信息通信技术...
2018-10-24 17:09:41
511
转载 Http协议基础知识的点点滴滴
HTTP协议作为网络传输的基本协议，有着广泛的应用。HTTP协议的完整内容很多，但是其核心知识却又简单精炼。 HTTP协议：消息的分类 · 请求消息 · 响应消息 HTTP协议：特点 · 无连接:无连接的含义是限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间 · 无状态:指协议对于事务处理没...
2018-10-24 17:07:03
131
转载 ElasticSearch底层搜索引擎Lucene原理剖析
Apache官方定义：Lucene是一个高效的，基于Java的全文检索库;开源免费 先来谈什么叫全文检索? 全文检索主要针对非结构化数据，主要有两种方法： (1)、顺序扫描法 比如我们想要在成千上万的文档中，查找包含某一字符串的所有文档，顺序扫描法就必须逐个的扫描每个文档，并且每个文档都要从头看到尾，如果找到，就继续找下一个，直至遍历所有的文档;这种方法通常应用于数据量...
2018-10-23 17:37:54
1258
转载 搜索引擎概述之布尔检索
阅读本篇文章首先要对“词汇文档矩阵”和“倒排索引”有个基本的认识，要了解相关的知识可以阅读上一篇文章：搜索引擎概述之倒排索引。 布尔检索是最基础，也是使用最广泛的信息检索模型了。所谓布尔查询就是通过AND、OR、NOT等逻辑操作符将检索词连接起来的查询。比如： 那么，布尔检索时如何利用倒排索引进行查询的呢?我们还是先从词汇文档矩阵说起吧~ 从词汇文档矩阵说起...
2018-10-23 17:27:23
998
转载 spring boot数据访问
spring boot的数据访问 spring data是spring用来解决数据访问问题的的一揽子解决方案，spring data是一个伞形项目，包含了大量的关系型和非关系型数据库的访问解决方案。包含的子项目： spring data JPA; spring data MongoDB spring data REST spring data Elasti...
2018-10-23 17:24:10
118
转载 支撑 Java NIO 与 NodeJS 的底层技术
众所周知在近几个版本的Java中增加了一些对Java NIO、NIO2的支持，与此同时NodeJS技术栈中最为人称道的优势之一就是其高性能IO，那么我们今天要讨论的话题就是支撑这些技术的底层技术。 开始之前先要提出的一个问题是： 为什么NodeJS和Java NIO2没有在更早的时间出现? 答案：个人认为是底层的支撑技术还不成熟。 那么，底层技术指的是什么呢?对的，我想...
2018-10-23 17:21:11
125
转载 spring boot整合shiro
安全框架Shiro和Spring Security比较,本文主要围绕Shiro进行学习 一Shiro 是一个强大而灵活的开源安全框架,能够清晰的处理认证 授权 管理会话以及,密码加密 01 .认证与授权相关概念 安全实体: 系统需要保护的具体对象数据 权限: 系统相关的功能操作,例如基本的CRUD Authentication:身份认证授权/登录,验证用户...
2018-10-23 17:18:36
104
转载 Spring AOP实现原理分析
Spring的核心是IOC与AOP，IOC主要是依赖关系的管理，依赖查询，依赖注入，在之前bean的生命周期文章中已经对bean的生命周期做了相对多的分析，这里以前探讨下AOP的实现原理。·AspectJAwareAdvisorAutoProxyCreator Spring启动时的beanPostProcessor，bean生命周期中经常可以看到beanPostProcessor在起作用，AO...
2018-10-22 17:48:43
160
转载 关于Http协议，你必须要知道的
HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网服务器传输超文本到本地浏览器的传送协议。HTTP 是基于 TCP/IP 协议通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)。它不涉及数据包(packet)传输，主要规定了客户端和服务器之间的通信格式，默认使用80端口。 一、Http的特点 1.简单快速：...
2018-10-22 17:44:55
188
转载 关于开源的你必须知道的几件事
开源协议概要 目前开源的协议可以参考GNU组织的开源许可协议：[具体参考链]。(http://www.gnu.org/licenses/license-list.html) 现今存在的开源协议很多，而经过Open Source Initiative组织通过批准的开源协议目前有58种：具体参考链。 下面来看几个例子： Facebook的Github中的开源项目大部分都...
2018-10-22 17:42:05
233
转载 面试必问的SpringCloud实现原理图
面试中面试官喜欢问组件的实现原理，尤其是常用技术，我们平时使用了SpringCloud还需要了解它的实现原理，这样不仅起到举一反三的作用，还能帮助轻松应对各种问题及有针对的进行扩展。以下是《Java深入微服务原理改造房产销售平台》课程讲到的部分原理附图，现在免费开放给大家，让大家轻松应对原理面试题。 ...
2018-10-22 17:39:05
247
转载 高并发场景下转移表的处理过程探讨
技术调整，现在需要将表A从数据库B转移到数据库C里，成为新表D。 这篇文章主要是分享一下我们的方案 1.调研(通过监控等，多个系统有使用)整理出所有涉及表A的SQL 2.新库上创建新表 3.在原有相关方法上添加开关，允许： 1)更新操作-同时更新(包括写)表A和表D 2)更新操作-只更新(包括写)表A 3)更新操作-只更新(包...
2018-10-22 17:36:14
102
转载 深度解析数据分析、大数据工程师和数据科学家的区别
数据越来越多的影响并塑造着那些我们每天都要交互的系统。不管是你使用Siri，google搜索，还是浏览facebook的好友动态，你都在消费者数据分析的结果。我们赋予了数据如此大的转变的能力，也难怪近几年越来越多的数据相关的角色被创造出来。 这些角色的职责范围，从预测未来，到发现你周围世界的模式，到建设操作着数百万记录的系统。在这篇文章中。我们将讨论不同的数据相关的角色，他们如何组合在一...
2018-10-19 16:40:24
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人