关闭
当前搜索:

FusionInsight平台——Spark连接MPPDB

前言 目前国内大数据行业盛行,华为推出了自己的大数据发行版FusionInsight,属于国内领先的发行版。FusionInsight产品其中就包括了Hadoop、Hive、Spark、MPPDB等组件。对于多数大数据从业人员来说,对大数据主流产品都有一定了解,但这款MPPDB相对来说较为陌生,笔者也在这上面遇到了坑,特此分享。 MPPDB:简单来说,它一款分布式的关系型数据库,基于Postg...
阅读(132) 评论(0)

Java——更巧妙的2种单例模式

Java——更巧妙的2种单例模式传统的单例模式 饿汉模式 public class Singleton { private static Singleton ourInstance = new Singleton(); public static Singleton getInstance() { return ourInstance; } private...
阅读(125) 评论(0)

根据数组+链表的原理,自己实现一个简易版的HashMap

前言昨天被人问到了HashMap底层实现方式,然而自己却只知道用hashCode()方法实现。虽然有看过HashMap源码,但自己却一直没搞懂具体实现方式。于是,从朋友那里借来一本书,专门研究了一下Map,才发现原来底层实现就是“数组 + 链表”的形式(顿时无语,当时自己居然没看出来!!)。接上两篇“数组 + 链表”,本次还是尝试自己根据其原理来实现一个简易版的HashMap。Map简介 Ma...
阅读(88) 评论(0)

根据链表的原理,自己实现一个简易版的LinkedList

前言接上一篇,本次根据链表的实现原理,自己来尝试写一个LinkedList。 MyLinkedList主要包括增、删、改、查几个功能。代码如下/** * 自己实现一个简易版的LinkedList * * @author ALion * @version 2017/11/4 2:22 */ public class MyLinkedList { private Node...
阅读(59) 评论(0)

根据数组的原理,自己实现一个简易版的ArrayList

前言很早之前查看了String、ArrayList的源码,发现其内部的核心就是对数组的操作,于是决定根据其原理,自己来尝试实现一个简易版的的ArrayList。 MyArrayList主要包括增、删、改、查几个功能。代码如下/** * 自己写一个简易版的的ArrayList * * @author ALion * @version 2017/11/3 22:35 */ public cl...
阅读(56) 评论(0)

CDH安装实验手册

CDH 安装实验手册 CDH是Cloudera公司对应Hadoop的一个发行版本,具有易于安装、部署、操作、图形化界面等特点。本手册致力于帮助新手安装、部署CDH集群,绕过各种初期的坑坑洼洼。需要注意的是,本手册基于的是实验环境,并非实际生产环境,具体参数需要根据实际场景修改。Cloudera发行版安装主要分为2个部分: Cloudera Manager (对于集群的管理、部署等)...
阅读(335) 评论(0)

Hadoop之RPC协议的使用

RPC的概念、使用、代码 RPC,全称是Remote Procdure Call,中文名为“远程过程调用” RPC,即远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。...
阅读(325) 评论(0)

利用单例+观察者设计一个简易的分发/订阅消息机制

发布/订阅消息机制 单例设计模式 观察者设计模式 HashMap类 按value注册观察者 按value分发消息...
阅读(304) 评论(0)

天堂图片网爬虫

天堂图片网爬虫注:爬取天堂图片网上的图片的爬虫,仅供交流学习之用,请勿用于商业用途项目地址: https://github.com/AlionSSS/HeavenSpider特性 网络请求-数据解析-文件存储 三层结构 多线程下载 网络自动重试 错误日志输出 Python3 你可能需要 pip3 install requests pip3 install beautifulsoup4 pip3 in...
阅读(387) 评论(0)

Python学习笔记——20170831

同城旅游网 爬虫练习 类库安装 pip install requests pip install beautifulsoup4 代码 import requests from bs4 import BeautifulSoup import os # # def get_html(url): """ 获取html源码 :param url: 链接地址 :return:...
阅读(237) 评论(0)

Python学习笔记——20170829

HTMLParser 方法注解 from html.parser import HTMLParser # class MyParser(HTMLParser): """ HTMLParser """ def __init__(self): HTMLParser.__init__(self) def handle_startendtag(self,...
阅读(245) 评论(0)

Python学习笔记——20170830

BeautifulSoup 安装 打开cmd命令行 pip3 install beautifulsoup4 案例一 import requests from bs4 import BeautifulSoup # # def get_html(url): response = requests.get(url) response.encoding = response.apparen...
阅读(228) 评论(0)

Python学习笔记——20170828

HTTP urllib3 import urllib3 # http = urllib3.PoolManager() response = http.request("GET", "http://www.baidu.com") if response.status == 200: print(response.data) 安装Requests 命令行> pip install reques...
阅读(455) 评论(0)

Python学习笔记——20170825

面向对象type类型import types # def fun(): pass # print(type(fun) == types.FunctionType) print(type(abs) == types.BuiltinFunctionType) print(type(lambda x: x * x) == types.LambdaType) print(type((x for x...
阅读(1321) 评论(0)

Python学习笔记——20170824

高阶函数map、reduce、filter、sorted 闭包、lambda匿名函数、装饰器、偏函数...
阅读(1269) 评论(0)

Python学习笔记——20170823

函数、自定义函数、函数传参、递归函数、生成器、汉诺塔、斐波那契数、杨辉三角...
阅读(1284) 评论(0)

Python学习笔记——20170822

python学习笔记 1.列表 2.元组 3.转换 4.字典...
阅读(1277) 评论(0)

Python学习笔记——20170821

Python 面向对象 虚拟机 解释器CPython Python 3 Google、Yahoo、YouTube、豆瓣、NASA 运行源代码 -> 解释器 -> 运行下载、安装 官网:https://www.python.org/ 安装:点击exe文件,勾选设置Path,默认安装 Hello World 建立Demo.py文件,编辑内容 # -*- coding: utf-8 -*- print(...
阅读(1353) 评论(0)

Scala学习笔记——20170820

List集合中的各种方法**注意**List集合是不可变的,增、删、改只会返回一个新的集合object ListDemo0819 { def main(args: Array[String]): Unit = { val list = List(1 to 20 by 2: _*) //后一个元素 = 前一个元素 + 2 println("list->" + lis...
阅读(1317) 评论(0)

Scala学习笔记——20170819

Scala 闭包object Demo { def main(args: Array[String]): Unit = { a(0) aa(1)(2)//先返回一个函数,向函数传一个值 } //闭包 def a(x: Int): Unit = { var num = 1 def b(y: Int): Unit =...
阅读(1343) 评论(0)
38条 共2页1 2 下一页 尾页
    个人资料
    • 访问:36319次
    • 积分:739
    • 等级:
    • 排名:千里之外
    • 原创:38篇
    • 转载:0篇
    • 译文:0篇
    • 评论:1条
    文章分类
    最新评论