- 博客(23)
- 资源 (11)
- 收藏
- 关注
RSS订阅转载 MongoDB学习
MongoDB是当今非常流行的一款NoSQL数据库，本文介绍如何使用MongoDB的Java驱动来操作MongoDB。一、引入MongoDB Java Driver包如果需要操作MongoDB的Java项目是一个Maven项目，可以在依赖中加上以下的配置。 org.mongodb mongo-java-driver
2016-04-30 21:36:46
353
转载 Python程序的执行原理
Python程序的执行原理目录Python2016年4月29日 1. 过程概述Python先把代码（.py文件）编译成字节码，交给字节码虚拟机，然后虚拟机一条一条执行字节码指令，从而完成程序的执行。2. 字节码字节码在Python虚拟机程序里对应的是PyCodeObject对象。.pyc文件是字节码在磁盘上的表现形式。3. pyc文件PyCode
2016-04-30 21:35:09
7152
1
转载 第七章数据压缩技术
第七章 数据压缩技术转自：http://www.dataguru.cn/article-3856-1.html 本章导读前面的章节已经介绍了海量数据的存储、查询、分区、容错等技术，这些技术对于海量数据的处理是必不可少的，但要进一步优化海量数据的管理还要用到一些其他的技术，本章主要介绍其中的数据压缩技术。数据压缩是指在不丢失信息的前提下，缩减数据量以减少存储空间，提高其传输
2016-04-30 10:13:26
11466
原创 NoSQL数据库技术
CAP-------nosql数据管理系统构建的基础 C consistency 强一致性 在分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份最新的数据副本） A availability 可用性 在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。（对数据更新具备高可用性） P Pattisi
2016-04-30 08:20:57
1061
1
转载 为什么python
前段时间，ThoughtWorks 在深圳举办一次社区活动上，有一个演讲主题叫做“Fullstack JavaScript”，是关于用 JavaScript 进行前端、服务器端，甚至数据库（MongoDB）开发，一个 Web 应用开发人员，只需要学会一门语言，就可以实现整个应用。 受此启发，我发现 Python 可以称为大数据全栈式开发语言。因为 Python 在云基础设施，DevOps
2016-04-29 20:07:54
558
原创 大数据管理：数据集成的技术、方法与最佳实践 读书笔记五之实时数据集成
实时数据集成为什么需要实时数据集成对于大多数据集成需求来说，因为要隔一夜，所以批处理的数据移动方式可能不可接受。一笔业务交易发生之后，要到第二天才能看到，这是难以接受的。同样不能被接受的是某个客户和组织新设立了一个账户之后，却不能够在当天办理业务。实时数据交互过程通常会对在一次交互中所能包含的数据的数量或者大小有所限制。在一次实时数据交互中所能处理的数据块称为一个“
2016-04-28 22:34:46
1072
原创 大数据管理：数据集成的技术、方法与最佳实践 读书笔记四
这次简单的了解了下数据转换和数据归档什么是数据转换在实现一个新的应用系统，或者将操作从某个应用系统改变到另外一个应用系统时，就有必要搞清楚新应用系统的数据结构。某些情况下，新应用系统的数据结构是空的。其他一些情况下，当合并应用程序时，新的数据结构中早已经有了一些数据，因此需要将数据增加到新系统。这里需要用到所有在抽取、转换和加载以及在第7章中所讨论的技术、策略。
2016-04-28 20:47:02
3193
原创 大数据管理：数据集成的技术、方法与最佳实践 读书笔记三
7.1 什么是数据仓库 数据仓库是基于特定的数据结构（以及有关应用程序）所构建的数据的中央存储库，以便为分析和报表提供一致的数据源。面向整个组织创建的企业数据仓库（Enterprise Data Warehouse，EDW）用于对整个组织的信息进行分析。大多数情况下，超大型组织中会有多个企业级数据仓库，每个都拥有组织中某个很大组成部分的数据，如某个区域，或者很大的功能域
2016-04-28 19:10:46
17169
1
原创 大数据管理：数据集成的技术、方法与最佳实践 读书笔记二
再来说下数据集成开发过程，批处理数据集成和ETL数据集成生命周期1 确定项目的范围 2 概要分析 生命周期的第二个部分常常会被忽略，即概要分析。因为数据集成被视作一门技术活，而组织通常会对授权访问生产数据比较敏感，因此，为了开发数据接口而对当前存储于可能的源和目标系统的数据进行分析可能是件比较困难的事情。所以，对实际数据进行概要分析往往
2016-04-28 16:55:38
5422
原创 大数据管理：数据集成的技术、方法与最佳实践 读书笔记一
先说下本书的网上介绍本书是数据集成领域的经典著作，由具有数十年从业经验的资深数据集成专家撰写，数据管理专家作序推荐！它为大数据时代的大中型企业管理企业内部大量的、复杂的应用系统之间的数据提供了解决方案，全面而深入地讲解数据集成的工具、方法、技巧、解决方案以及最佳实践。本书分为四部分，共22章，高屋建瓴地阐述了在大型组织环境中，不同计算机系统之间传输数据，以及将异构数据进行集成所用到的技巧、
2016-04-28 16:52:41
2837
原创 ggplot2学习第五章
5.2 首先说下图层的三种用途1. 用以展示数据本身2. 用以展示数据的统计摘要3. 用以添加额外的元数据（metadata）5.3 关于基本的图形类型geom_area() 用于绘制面积图geom_bar(stat = "identity") 用于绘制条形图geom_line()绘制线条图geom_point() 绘制散点图geom_polygon()
2016-04-26 11:50:36
5678
2
原创 踏上大数据之路
那是人生中的第一次第一次参加面试和笔试，就来到了现在的第一家公司，虽然没有像同学那样体会到求职的艰苦奔波，但是还是觉得有点遗憾，因为当时对薪资没什么要求，到公司公司后才发现在上海这工资算比较低了，还不如去干安卓呢，毕竟大学里跟着老师后面做过app的开发，但是现在刚进来就跳槽的话有点不合适，因为我们实习的时候是比较开心的两个月，公司让我们住的酒店，感觉很风光，每天也很轻松。 但是工作
2016-04-25 20:38:52
467
转载 如何教女朋友一起编程
若干年前，在我还是一个小小的软件开发人员的时候，我就梦想有一个女孩能让我与之畅谈我喜欢的东西。我想和她谈论我做了什么。不是简单地说我在做与电脑相关的东西，而是能够更深层次地畅所欲言。就像和同事一起的那种谈话。我希望当我发现了什么令人兴奋的新玩意儿的时候，当我兴致勃勃地讲给她听的时候，她能理解我。回想我还在上大学的时候，我也经常将我这个梦想说给朋友听。我以为他们会和我想的一样，但让我
2016-04-25 20:13:38
518
原创 ggplot2学习笔记-- 第四章
首先熟悉下一些基本知识：几何对象geom ： 它执行者图层的实际渲染，控制着生成的图像类型。例如，用点几何对象将会生成散点图，而用线几何对象生成折线图每个几何对象都有一组它识别的图形属性和一组绘图所需的值每个几何对象都有一个默认的统计变换统计变换 stat：即对数据进行统计变换，它通常以某种方式对数据信息进行汇总。例如，平滑是一个很有用的统计变换，它能在一些限制条件
2016-04-25 19:55:34
1355
原创 ggplot2学习入门第二章qplot入门
今天学习了下ggplot的第二章，以下是相关的代码与说明library(ggplot2)## 图2.1 无代码###### 章节2.2set.seed(1410) # 让样本可重复dsmall ###### 章节2.3qplot(carat, price, data = diamonds)###### 章节2
2016-04-24 16:13:08
746
转载 IIS配置与错误提示 500.19 - Internal Server Error 无法访问请求的页面，因为该页的相关配置数据无效 解决方法
HTTP 错误 500.19 - Internal Server Error 先装了.net然后再装的iis 就会出现这个错误win+r 运行 C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727\aspnet_regiis.exe -i 重新注册一下asp.net。 如果是vista操作系统，需要在dos命令窗口中运行以上的路径，并且dos窗口必
2016-04-17 10:01:29
9677
转载 R操作mysql 中数据
以下的实验环境是在windows7-32操作系统下进行1、下载（mysql-connector-odbc-5.3.2-win32.msi） 下载地址：http://dev.mysql.com/downloads/connector/odbc 如果下载不了的同学可以下直使用我的附件 mysql-connector-odbc-5.3.2-win32.rar (
2016-04-16 10:28:27
701
原创 R导入mysql数据
可以用R直接进行分析，具体步骤如下：1、R下载RODBC包，安装好。2、install.package("RODBC")下载mySQL ODBC，安装好。3、windows：控制面板->管理工具->数据源（ODBC）->双击->添加->选中mysql ODBC driver一项填写：data source name 一项填入你要使用的名字，自己随便命名，例如：mysql
2016-04-16 07:37:20
1988
转载 如何成为一名数据科学家？
如何成为一名数据科学家？ 谢科，数据科学，机器学习，康奈尔大学PhD研究生"Data Science = statistics who uses python and lives in San Francisco"恰好我马上启程到 Twitter 的 data science team，而且恰巧懂一点点统计和住在旧金山，所以冲动地没有邀请就厚脸回答了:D我认为有几个大方
2016-04-15 13:26:57
378
转载 程序员的最大挑战
我思考越深就越坚信，如今的程序员的最大挑战是没有时间学习新知识。当在学校时，人们都有大量的时间来学习新工具和新技术，但一旦完成学业，有了全职工作，我们就拿不出足够的时间来学习新东西了。而我们这个行业的变化却是日新月异，对于一个职业程序员，每周至少有40小时‘真正’工作时间，完全没有时间和精力去掌握各种的新兴编程语言，框架和技术，更别说精通了。我想这也就是为什么编程是年轻人的游戏的原因。想象
2016-04-15 13:11:17
894
转载 Host 'heChengjian' is not allowed to connect to this MySQL server
如何开启MySQL的远程帐号-1）首先以 root 帐户登陆 MySQL在 Windows 主机中点击开始菜单，运行，输入“cmd”，进入控制台，然后cd 进入MySQL 的 bin 目录下，然后输入下面的命令。 > MySQL -uroot -p123456 (123456 为 root 用户的密码。) 如何开启MySQL
2016-04-11 21:26:34
484
转载 机器学习
在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是 EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？我并不直
2016-04-08 16:29:11
914
原创 Hadoop和spark通信机制
Hadoop MR中的计算框架，jobTracker和TaskTracker之间是由于通过heartbeat的方式来进行的通信和传递数据，会导致非常慢的执行速度，而Spark具有出色的高效的Akka和netty通信系统
2016-04-08 16:12:14
1630
1
机器学习书籍大全
2018-08-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人