2018年03月_liuxiangke0210

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Python 新手入门引导

原文链接：https://zhuanlan.zhihu.com/p/25824007这是一篇 Python 入门指南，针对那些没有任何编程经验，从零开始学习 Python 的同学。不管你学习的出发点是兴趣驱动、拓展思维，还是工作需要、想要转行，都可以此文作为一个参考。在这个信息爆炸的时代，以 “Python入门” 为关键字搜索出的结果成千上万。不少小白选手难免会东一榔头西一棒槌，最终看了很多文章，...

2018-03-29 15:57:39 1576 1

转载 Pycharm使用

原文链接：https://zhuanlan.zhihu.com/p/26066151Pycharm 作为一款针对 Python 的编辑器，配置简单、功能强大、使用起来省时省心，对初学者友好，这也是为什么编程教室一直推荐新手使用 Pycharm 的原因。本文我们将介绍 pycharm 编辑器的基本使用方法，主要包括以下几个方面：下载安装新建项目流程配置 PycharmPython控制台其他参考资料...

2018-03-29 15:43:18 553

原创 nodepad++设置编写python

1.安装好nodepad++ 2.按F5弹出“运行”宽，在其中填入 cmd /k D:\softinstall\Anaconda3\python.exe "$(FULL_CURRENT_PATH)"& PAUSE & EXIT其中D:\softinstall\Anaconda3\python.exe是安装的python解析器的位置路径。3.点击保存同时设置名称和运行的快捷...

2018-03-29 15:23:38 781

转载我的Pycharm，我做主

原文链接：https://blog.csdn.net/u013088062/article/details/50388329收藏链接：http://www.phperz.com/article/14/1213/14349.html （快速学习pycharm工具）　之间花了一周多的时间把Pycharm官方帮助文档翻译了一遍，一共43篇博客，累得要屎，感悟颇多。　　发牢骚之前先总结点干货，这里把所有的...

2018-03-28 17:17:40 173

转载 anaconda学习入门

原文链接：https://www.zhihu.com/question/58033789作者：猴子链接：https://www.zhihu.com/question/58033789/answer/254673663来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。事实上Anaconda 和 Jupyter notebook已成为数据分析的标准环境。简单来说，Anaco...

2018-03-28 15:00:53 1038

转载 Anaconda使用入门

原文链接：https://www.cnblogs.com/baiyangcao/p/anaconda_basic.html收藏链接：https://www.zhihu.com/question/58033789简介Conda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同版本的软件包及其依赖，并能够在不同的环境之间切换Anaconda包括Conda、Python以及一大堆安装好的工具包，...

2018-03-28 14:58:55 678

转载 python+Eclipse+pydev环境搭建

原文链接：https://www.cnblogs.com/Bonker/p/3584707.html参考链接：https://blog.csdn.net/qq_15192373/article/details/78239959本文重点介绍使用Eclipse+pydev插件来写Python代码，以及在Mac上配置Eclipse+Pydev 和Windows配置Eclipse+Pydev 编辑器...

2018-03-27 23:51:39 123

原创临时笔记

本篇纯属是作为临时笔记收藏。微积分导学 http://metc.zju.edu.cn/wjf/index.jsp 机器学习博客 http://cuijiahua.com/blog/2017/11/ml_1_knn.html机器学习指导步骤： https://www.admin5.com/article/20170320/727695.shtml大数据blog : https://www.itebl...

2018-03-27 10:13:22 214

转载 spark核心技术原理透视一（Spark运行原理）

原文链接：http://www.raincent.com/content-85-11052-1.html在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。来源：加米谷大数据在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论...

2018-03-25 15:50:28 16130 3

转载 kafka架构与原理

原文链接：http://www.raincent.com/content-85-10956-1.html它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流，从而具有容错能力。1、简介它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流，从而具有容错能力。首先，明确几个概念：• Kafka运行在一...

2018-03-25 15:31:44 3783

转载 Hbase万亿级存储性能优化总结

原文链接：http://www.raincent.com/content-85-7770-1.html总结下hbase优化(针对0 94版本)方面的一些经验也算对这两年hbase工作的一个描述。背景hbase主集群在生产环境已稳定运行有1年半时间，最大的单表region数已达7200多个，每天新增入库量就有百亿条，对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力，hbase入库也由...

2018-03-25 11:20:00 208

转载 Hbase架构与原理

原文链接：https://blog.csdn.net/u012743772/article/details/77098128Hbase架构与原理HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，...

2018-03-24 23:08:09 358

原创 Hbase学习总结

Hbase 集群包括三个集群zookeeper群：zookeeper集群主要用于存储master地址、协调Master和RegionServer等上下线、存储临时数据等等。存储-ROOT-表的RS地址。Master群： master主要负责region的分配，手动管理操作下发等，一般读写操作不需要经过master集群，所以堆master集群的配置要求不是很高。master集群中也有主从之分，Mas...

2018-03-24 12:28:48 1200 1

转载 HBase原理、设计与优化实践

原文链接：http://www.thebigdata.cn/HBase/15925.html简介HBase —— Hadoop Database的简称，Google BigTable的另一种开源实现方式，从问世之初，就为了解决用大量廉价的机器高速存取海量数据、实现数据分布式存储提供可靠的方案。从功能上来讲，HBase不折不扣是一个数据库，与我们熟悉的Oracle、MySQL、MSSQL等一样，对外...

2018-03-23 19:00:07 699

原创 JVM学习总结

参考链接：http://www.cnblogs.com/leefreeman/category/1058724.htmlJVM基本结构可能通过上面的描述，大家对JVM运行流程有了一个粗略的认识，那么JVM内部到底是怎么执行一个class文件的呢，也就是上图中最后一步第6步的内部细节是怎样的呢？要了解这个问题，我们首先得看一下JVM的内部结构：从这个结构不难看出，class文件被jvm装载以...

2018-03-20 11:57:09 180

原创 kafka学习总结

kafka技术Broker 是kafka集群节点，一个物理节点可以有一个或者多个broker，多个broker组成一个kafka集群。Topic 是标识每一种类的消息，物理机器上并不存在，（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）Partition 是物理上的概念，...

2018-03-15 23:05:48 211

转载说说Runnable与Callable

原文链接：https://www.cnblogs.com/frinder6/p/5507082.htmlCallable接口：public interface Callable<V> { V call() throws Exception;} Runnable接口：public interface Runnable { public abstract void run...

2018-03-14 14:38:07 154

转载 k-means算法实际应用

原文链接：http://www.cnblogs.com/leoo2sk/archive/2010/09/20/k-means.html4.1、摘要在前面的文章中，介绍了三种常见的分类算法。分类作为一种监督学习方法，要求必须事先明确知道各个类别的信息，并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足，尤其是在处理海量数据的时候，如果通过预处理使得数据满足分类算法的...

2018-03-11 17:41:29 25529 4

转载大数据环境下互联网行业数据仓库/数据平台的架构之漫谈-续

原文链接：http://lxw1234.com/archives/2016/07/703.htm整体架构数据采集离线计算实时计算多维分析OLAP机器学习Ad-Hoc查询数据可视化上次写的《大数据环境下互联网行业数据仓库/数据平台的架构之漫谈》一文，已是一年前的事了，经过一年的沉淀与公司业务的发展，大数据平台的架构也有所演进，本文简单介绍了架构更新的部分。整体架构数据采集对于关系型数据库以及部分NO...

2018-03-11 14:08:41 357

转载大数据环境下互联网行业数据仓库/数据平台的架构之漫谈

原文链接：http://lxw1234.com/archives/2015/08/471.htm整体架构数据采集数据存储与分析数据共享数据应用实时计算任务调度与监控元数据管理总结一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。先大概列一下互联网行业数据仓库、数据平台的用途：整合公司所有业务数据，建立统一的数据中心；提供各种报表，有给高层的，有给各个...

2018-03-11 13:42:58 302

转载数据仓库之 ETL

原文链接：http://lxw1234.com/archives/2015/04/31.htm大多数据仓库的数据架构可以概括为：数据源–>ODS(操作型数据存储)–>DW–>DM(data mart)ETL贯穿其各个环节。一、数据抽取：可以理解为是把源数据的数据抽取到ODS或者DW中。1. 源数据类型：关系型数据库，如Oracle,Mysql,Sqlserver等;文本文件，...

2018-03-11 11:48:03 552

原创 Java中16进制与字符串之间的相互转换

在Oracle中表之间关联需要有包含有中文的字符串转换为16进制，在网上找了下，比较纤细点的在原文链接参考链接：https://www.cnblogs.com/carryLess/p/6889378.html代码样例：package com.eastcom.two.oracle.hex;public class StrWithHexTransform { public static voi...

2018-03-01 10:59:15 7545