- 博客(139)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Spark简介与基本术语
一、Spark简介与优点： Spark 是专为大规模数据处理而设计的开源、快速、通用的计算引擎。可以使用Java、Scala、Python、R 和 SQL 等语言调用API来执行spark 。Spark可以在Hadoop YARN、Apache Mesos 和独立集群管理器上运行。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。Spark借鉴Hadoop Map
2021-06-24 17:16:07
464
2
原创 Anaconda建立新的环境，出现CondaHTTPError: HTTP 000 CONNECTION FAILED for url ...... 解决过程
2020.3.7准备scrapy，使用anaconda创建一个新的环境，执行“conda create -n scrapyEnv python=3.6”，结果出现了“CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64/current_repodata.json>”。以下是我的解决步骤。一、电脑的环境操作系统：w.
2021-06-18 17:45:39
2843
1
原创 台湾大学机器学习基石（学习笔记一） 在何时可以使用机器学习？
1、The learning problem：2、Learning to Answer Yes/No：3、Types of Learning：4、机器学习的可能性：
2018-04-25 10:24:11
390
原创 Python Numpy Tutorial 发个Python机器学习入门实例
This tutorial was contributed by Justin Johnson.We will use the Python programming language for all assignments in this course. Python is a great general-purpose programming language on its own, b
2017-02-04 17:35:50
1204
转载 这5种必知的大数据处理框架技术，你的项目到底应该使用其中的哪几种
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提
2016-10-24 15:21:44
8865
2
转载 理解MapReduce 入门文章--推荐
分析MapReduce执行过程 MapReduce运行的时候，会通过Mapper运行的任务读取HDFS中的数据文件，然后调用自己的方法，处理数据，最后输出。Reducer任务会接收Mapper任务输出的数据，作为自己的输入数据，调用自己的方法，最后输出到HDFS的文件中。整个流程如图：Mapper任务的执行过程详解每个Mapper任务是一个java进程，它会读取HDFS中
2016-10-17 16:48:34
1080
1
原创 解决PKIX path building failed的问题-验证可以解决问题 方法二
public class HttpClientUtil { public JSONObject doPost(String url, Map map, String charset){ HttpClient httpClient = null; HttpPost httpPost = null; String result = null;
2016-09-05 15:16:26
14216
原创 解决PKIX path building failed的问题-验证可以解决问题
在一次调试中，出现了这个错误： Java代码 [ERROR] http-8080-Processor25 2010-01-20 15:29:28,640 org.jasig.cas.client.validation.Cas20ServiceTicketValidator - javax.net.ssl.SSLHandshakeException: sun.s
2016-08-31 20:30:53
55062
3
转载 泛化、实现、依赖和关联的区别,组合是强关系
泛化、实现、依赖和关联的区别传统应用程序设计中所说的依赖一般指“类之间的关系”，那先让我们复习一下类之间的关系：a、实现表示类对接口的实现。UML图中实现使用一条带有空心三角箭头的虚线指向接口，如下：b、泛化表示类与类之间的继承关系、接口与接口之间的继承关系。UML图中实现使用一条带有空心三角箭头的实线指向基类，如下：c、依赖表现为函数中的参数(us
2016-08-29 10:53:19
1187
转载 漏洞预警：zabbix再爆高危SQL注入漏洞，可获操作系统权限
漏洞概述zabbix是一个开源的企业级性能监控解决方案。官方网站http://www.zabbix.comzabbix的jsrpc的profileIdx2参数存在insert方式的SQL注入漏洞，攻击者无需授权登陆即可登陆zabbix管理系统，也可通过script等功能轻易直接获取zabbix服务器的操作系统权限。影响程度攻击成本：低危害程度
2016-08-18 10:59:25
1309
1
转载 安装tensorflow---目前还没有支持windows
背景听说谷歌的第二代机器学习的框架tensorflow开源了,我也心血来潮去探探大牛的产品.安装就折腾了一天,现在整理出来备忘.tensorflow官方网站给出的安装步骤很简单:# Only CPU-version is available at the moment.$ pip install https://storage.googleapis.com/tensorflo
2016-08-03 10:52:00
1628
翻译 十分钟搞定pandas
文是对pan官方网站上《10 Minutes to pandas》的一个简单的翻译，原文在这里。这篇文章是对pandas的一个简单的介绍，详细的介绍请参考：Cookbook 。习惯上，我们会按下面格式引入所需要的包：一、 创建对象可以通过 Data Structure Intro Setion 来查看有关该节内容的详细信息。1、可以通过传递一个list对象来创
2016-08-03 10:24:15
1352
原创 GitHub上那些值得一试的JAVA开源库
作为一名程序员，你几乎每天都会使用到GitHub上的那些著名Java第三方库，比如Apache Commons,Spring，Hibernate等等。除了这些，你可能还会fork或Star一些其他的开源库，但GitHub上的库实在太多了，以至于对于个人来说，你很难有时间去发现并了解那些不断加入的新库，而它们却往往能在一些新兴领域中给你提供帮助。我一直使用JAVA来写后端应用，平时也会关注一些国
2016-07-27 16:20:57
662
原创 手机端（android与ios）黑客安全检测工具锦集
因为工作的关系，之前收集过的一些比较不错的关于安全方面知识和实践的网站资源，统一放在这篇文章里，方便大家查阅。还没有想好如何更好的分门别类，所以，暂时凌乱的放着吧。Android移动端，特别是安卓接触的时间和机会较多，所以我优先说说安卓下的安全网站资源和项目。APK爬虫如果是分析安卓应用的安全问题，那么第一步应该是：获取大量的app来分析啰！我们一般会编写爬虫来获取
2016-07-27 15:06:06
5471
原创 内存溢出原因及解决方案
内存溢出原因及解决方案 参考地址：http://baike.baidu.com/view/79183.htm 内存溢出是指应用系统中存在无法回收的内存或使用的内存过多，最终使得程序运行要用到的内存大于虚拟机能提供的最大内存。 引起内存溢出的原因有很多种，常见的有以下几种： 1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据； 2.集
2016-06-28 15:52:37
5320
原创 Java通过Executors提供四种线程池
Java通过Executors提供四种线程池，分别为：newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。newScheduledThreadPool 创建一个定长线程池，支持定时及周期性任务执行。
2016-05-26 17:03:06
3895
原创 JAVA并行异步编程,线程池+FutureTask+callable+ExecutorService
java 在JDK1.5中引入一个新的并发包java.util.concurrent 该包专门为java处理并发而书写。在java中熟悉的使用多线程的方式为两种？继续Thread类，实现Runnale。两种方式简单方便。在Jdk1.5之后其实有第三种方式实现方式，采用并发包中的 Callable接口 FuruteTask类 以及 ExecutorService接口。说新的实
2016-05-26 15:22:10
15012
原创 IntelliJ - idea15.0.2 破解方法
IntelliJ - idea15.0.2 破解方法由于idea 15版本更换了注册方式，只能通过联网激活，所以现在不能通过简单的通用注册码进行离线注册了，虽然可以继续用14版本，但是有新版本却无法尝试让强迫症也是异常抓狂。通过度娘我找到了一个破解方法，并实测注册成功，如下图所示：这其中提供方法的网站并没有说清楚，所以这里我把完整的破解方
2016-05-16 10:04:45
5418
3
转载 JAVA正则表达式 Pattern和Matcher
java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。1.简介： java.util.regex是一个用正则表达式所订制的模式来对字符串进行匹配工作的类库包。 它包括两个类：Pattern和Matcher 。Pattern： 一个Pattern是一个正则表达式经编译后的表现模式。 Matcher： 一个Matcher对象是一
2016-05-05 16:30:24
475
转载 Spring Web MVC实现Restful Web Service
一引言：以前一说到Web Service大家肯定会联想到SOAP，现在提到Web Service大家马上联想到RESTful,因为RESTful Web Service已经深得人心，得到重用，相比笨重的SOAP越来越流行了，那么什么是RESTful Web Service？REST英文全称为Representational State Transfer，翻译为中文即表征状态
2016-04-11 12:00:53
814
1
原创 网络爬虫基本流程及开源爬虫
网络爬虫基本原理(一) 网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。一、网络爬虫的基本结构及工作流程 一个通用的网络爬虫的框架如图所示： 网络爬虫的基本工作流程如下： 1.首先选取一部分精心挑选的种子URL；
2016-04-01 11:59:13
26584
原创 yaml在python上的应用
YAML是一种直观的能够被电脑识别的的数据序列化格式，容易被人类阅读，并且容易和脚本语言交互。YAML类似于XML，但是语法比XML简单得多，对于转化成数组或可以hash的数据时是很简单有效的。 YAML语法规则： http://www.ibm.com/developerworks/cn/xml/x-cn-yamlintro/ http://www.yaml.o
2016-03-30 15:49:19
24947
2
原创 win7（64bit）python相关环境模块搭建-已验证可行
包括Python，eclipse，jdk，pydev，pip，setuptools，beautifulsoup，pyyaml，nltk，mysqldb的下载安装配置。*************************************************python下载：python-2.7.6.amd64.msihttp://www.python.org/P
2016-03-23 14:05:19
1107
原创 如何生成(类似youtube 里的)足够短唯一且不可预测的ID
如何生成唯一且不可预测的 ID通常数据库可以生成唯一的 ID，最多的就是数字序列，也有像 MongoDB 这样产生组合序列的，不过这种形式的 ID 由于是序列，是可以预测的。如果想得到不可预测且唯一的 ID，方法还是有的。下面主要以 Node.js 的环境为例。Node-uuidGithub 上有个 node-uuid 项目，它可以快速地生成符合 RFC4122 规范
2015-09-10 11:19:11
2954
1
原创 StringBuilder的实现与技巧
StringBuilder的实现与技巧在上一篇进一步了解String 中,发现了string的不便之处,而string的替代解决方案就是StringBuilder的使用..它的使用也很简单System.Text.StringBuilder sb = new System.Text.StringBuilder();这样就初始化了一个StringBuilder ..之后我们可以通过
2015-09-07 15:37:53
773
原创 JAVA泛型-类型擦除太恶心，但项目中大量使用，以及类型擦除引起的问题及解决方法
泛型概念的提出（为什么需要泛型）？首先，我们看下下面这段简短的代码: 1 public class GenericTest { 2 3 public static void main(String[] args) { 4 List list = new ArrayList(); 5 list.add("qqyumidi"); 6
2015-08-21 10:16:23
11420
2
原创 计算机语言符号集语法规范：BNF与ABNF
语法规范：BNF与ABNF BNF 巴科斯范式(BNF: Backus-Naur Form 的缩写)是由 John Backus 和 Peter Naur 首先引入的用来描述计算机语言语法的符号集。现在，几乎每一位新编程语言书籍的作者都使用巴科斯范式来定义编程语言的语法规则。 在BNF中，双引号中的字("word")代表着这些字符本身。
2015-08-20 10:33:07
1632
原创 使用@Valid @RequestBody 的用意在于抛出notvalid的异常
Different ways of validating @RequestBody in Spring MVC 3.2 with @Valid annotation原文 http://blog.codeleak.pl/2013/09/request-body-validation-in-spring-mvc-3.2.htmlIn Spring MVC th
2015-08-18 14:08:21
17203
原创 Spring MVC 解读——@Autowired、@Controller、@Service从原理层面来分析
Spring MVC 解读——@Autowired一、@Autowired 作为一个Spring开发者对@Autowired注解必定是非常了解了, 顾名思义自动装配，应该是Spring会自动将我们标记为@Autowired的元素装配好，与其猜测不如看看它的定义：?1234567@Target({ElementTy
2015-08-17 10:45:26
57579
16
原创 @Resource注解
@Resource注解解释：@Resource的作用相当于@Autowired，只不过@Autowired按byType自动注入，而@Resource默认按 byName自动注入罢了。Spring将@Resource注解的name属性解析为bean的名字，而type属性则解析为bean的类型。@Resource装配顺序： 1.如果同时指定了name和t
2015-08-13 14:10:15
4896
原创 junit常用注解详细说明
junit常用注解详细说明 Java注解（(Annotation）的使用方法是@注解名 ，能通过简单的词语来实现一些功能。在junit中常用的注解有@Test、@Ignore、@BeforeClass、@AfterClass、@Before、@After、@Runwith、@Parameters以下是相关的介绍和使用说明：一.@Test在junit
2015-08-13 10:00:57
833
原创 使用 Spring 3 MVC HttpMessageConverter 功能构建 RESTful web 服务（包括使用 RestTemplate 与 REST 服务进行通信）
Spring，构建 Java™ 平台和 Enterprise Edition (Java EE) 应用程序的著名框架，现在在其模型-视图-控制器（Model-View-Controller ，MVC）层支持具象状态传输 (REST)。RESTful web 服务根据客户端请求生成多个具象（representations）很重要。在本篇文章中，学习使用HttpMessageConverter 生
2015-08-12 14:26:31
1682
原创 spring注解（ @Autowired、@Qualifier、@Resource、@PostConstruct、@PreDestroy、 @Component、@Scope）-描述的比较清楚
概述：注释配置相对于 XML 配置具有很多的优势：它可以充分利用 Java 的反射机制获取类结构信息，这些信息可以有效减少配置的工作。如使用 JPA 注释配置 ORM 映射时，我们就不需要指定 PO 的属性名、类型等信息，如果关系表字段和 PO 属性名、类型都一致，您甚至无需编写任务属性映射信息——因为这些信息都可以通过 Java 反射机制获取。注释和 Java 代码位于一个文件中，而
2015-08-11 16:41:13
3154
原创 加插件，使notepad++显示目录树
Notepad++ 虽然没有eclipse的功能多，也不能自动编译，但是有一点是eclipse远远落后于他的，代码的结构。Notepad++ 的代码一眼看上去非常舒服，而且鼠标点击括号的时候函数之间可以很清楚的区别开来，这是我最喜欢的功能，可惜的是Notepad++ 没有自带目录结构的浏览功能，你需要一个一个文件自己打开。安装Explorer 插件可以解决这个问题。到 http://s
2015-07-30 10:53:08
28361
3
原创 有关html5、javascript工具、css框架以及jquery插件的前端专题，收藏以供今后使用
目录(?)[+]10个令人惊奇的HTML5和JavaScript效果http://developer.51cto.com/art/201101/244138.htmWeb开发者必知 31个最实用的Javascript工具http://developer.51cto.com/art/201012/236740.htm20个HTML 5和CSS3的免费网站模板与
2015-07-13 11:07:52
792
原创 jsoup Cookbook(中文版)-Jsoup解析HTML
jsoup Cookbook(中文版)入门1、 解析和遍历一个html文档如何解析一个HTML文档：String html = "First parse" + "Parsed HTML into a doc.";Document doc = Jsoup.parse(html);(更详细内容可查看 解析一个HTML字符串.)其解析器能够尽最大可能从你提供的
2015-07-13 09:49:02
590
原创 什么是序列化？在什么情况下将类序列化？
什么是序列化？在什么情况下将类序列化？ 序列化就是一种用来处理对象流的机制，所谓对象流也就是将对象的内容进行流化。可以对流化后的对象进行读写操作，也可将流化后的对象传输于网络之间。序列化是为了解决在对对象流进行读写操作时所引发的问题。序列化的实现：将需要被序列化的类实现Serializable接口，该接口没有需要实现的方法，implements Serializable只是为了标注该对
2015-07-03 16:31:08
6783
原创 向空文件写数据，并读取配置文件数据
using System;using System.Collections.Generic;using System.Linq;using System.Text;using System.Threading.Tasks;using ConsoleApplication2.Function;namespace ConsoleApplication2{
2015-06-04 20:58:07
682
原创 常用EXE文件反编译工具
常用EXE文件反编译工具PE Explorer V1.99 R5 绿色汉化特别版_强大的可视化汉化集成工具 功能极为强大的可视化汉化集成工具，可直接浏览、修改软件资源，包括菜单、对话框、字符串表等； 另外，还具备有 W32DASM 软件的反编译能力和PEditor 软件的 PE 文件头编辑功能，可以更容易的分析源代码，修复损坏了的资源，可以处理 PE 格式的文件如：EX
2015-06-04 18:54:12
63865
1
原创 intellij idea -常用快捷方式
个人之前一直用eclipse做c++、java开发，换到新公司，大家都用IDEA开发工具，所以最近也在学习，总结下快捷方式，如下：1、文本编辑 删除 ctr + y 复制 ctr + D2、智能提示 提示 ctr + space 智能提示 ctr + shift + space 完成当前语
2015-05-25 16:46:58
819
Selenium.1.0.Testing.Tools.Beginners.Guide
2014-03-21
Android核心技术与实例详解—Android开发起步
2013-04-15
大数据分析的案例、方法与挑战
2013-04-08
Oracle与DB2那些事（二） - DB2 Purescale群集.
2013-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人