- 博客(27)
- 收藏
- 关注
RSS订阅翻译 Spark2x 学习笔记（1）RDD编程
1 概览每个spark程序都有一个驱动程序运行在用户的main函数中，以及在集群中执行不同的并行操作。第一个抽象概念：RDD是元素的集合。这个集合可以被分到集群中的不同机器中并行处理。RDD可以由hadoop支持的文件系统中的文件创建，或者是驱动程序中的scala集合。RDD可以被保存在内存中被并行操作有效服用。第二个抽象概念：shared variables。共享变量可以在task...
2018-12-15 21:55:07
567
翻译 ElasticSearch学习（2）安装和初步使用
参考文档1 安装1.1 确认Java版本最新版ES 6.0.1至少需要Java 8手册上推荐Oracle JDK version 1.8.0_131java -versionecho $JAVA_HOME1.2 Linux下安装curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsear...
2018-11-03 22:37:59
354
翻译 ElasticSearch学习（一） 基本概念
基本概念官方文档1 Near Realtime(NRT) 几乎实时ES是一个几乎实时的查询平台，从开始执行查询命令，到文档可查看，只需要1s2 Cluster 集群集群用来承载数据以及联邦查询能力，可以有一个或者多个节点（主机）。一个集群用一个唯一的名字来标识一个集群用一个唯一的名字来标识一台主机只能隶属于一个集群一台主机只能隶属于一个集群3 Node 节点node是集群里...
2018-11-01 20:19:12
262
转载 机器学习 第一章 Python复习（10）数据入库 ORM框架sqlalchemy
参考文档1 基本使用套路1.1 创建连接对象参考文档from sqlalchemy import create_engineengine = create_engine('mysql://root:123123@localhost/test?charset=utf8')engine = create_engine('mysql+pymysql://root:123456@localho...
2018-10-15 17:13:00
166
转载 机器学习 第一章 Python复习（9）数据入库 pymysql
1 pymysql参考文档SQL工具1.1 安装$ (env) python3 -m pip install PyMySQL1.2基本使用import pymysql1.2.1 Connection 对象connection = pymysql.connect(host='localhost', user='user',...
2018-10-01 14:06:46
238
转载 机器学习 第一章 Python复习（8）元组+案例用BeautifulSoup抓取基金网站
元组Tuple参考文档1.元组是不可变的2.创建元组的四种方式t = () t = 1, # or t = (1,)t = (1,2,3) # or 1,2,3,t = tuple([1,2,3])3.一般会在元组中放置 比较灵活的数据类型，如list或dictdata = ({"fCode":"101","fName":"A基金"},{"fCode":"102",&q
2018-09-18 23:31:33
139
原创 《python网络数据采集》学习笔记（1）BeautifulSoup 安装部署 HTML解析
1.安装部署安装部署2.异常处理openurl()会返回HTTP错误调用的标签不存在,返回AttributeErrorfrom urllib.request import urlopenfrom urllib.error import HTTPError,URLErrorfrom bs4 import BeautifulSoupdef getTitle(url): ...
2018-09-16 22:49:42
176
转载 机器学习 第一章 Python复习（7）urllib
1.urllib参考文档 urlopen如果是HTTP和HTTPS URL，则会返回一个http.client.HTTPResponse对象 参考文档 from urllib.request import urlopen response = urlopen("http://fund.eastmoney.com/fund.html")html = response.read()p...
2018-09-16 18:01:10
148
转载 机器学习 第一章 Python复习（6）读取文件、OS模块、is和==、异常初步、with as
1.读取文件参考文档f = open("文件名","r")# 相对目录读取f=open("./files/test.txt")print(f.read())f.close()2.os模块参考文档 常用函数： 获取系统环境变量的值os.environ['xxx']获取当前python脚本工作路径os.getcwd()获取当前进程IDos....
2018-09-16 16:55:30
152
转载 机器学习 第一章 Python复习（5）pip的使用、安装虚拟环境（）、安装BeautifulSoup库
1.创建虚拟环境(win10)配置清华大学pip镜像源 C:\Users\huxia\pip\pip.ini[global]timeout = 60index-url = https://pypi.tuna.tsinghua.edu.cn/simpletrusted-host = pypi.tuna.tsinghua.edu.cn安装virtualenvpip instal...
2018-09-16 15:58:08
223
转载 机器学习 第一章 Python复习（4）模块、包
1.模块参考文档 一个模块就是一个文件 引用方式1：会将functions.py从上至下执行一次，只会讲functions导入到local()import functionsfunctions.函数名（）引用方式2,会将xxx导入到local()from functions import xxxx,xxxx引用方式3,会将functions下所有变量导入到local()...
2018-09-12 23:43:39
715
转载 机器学习 第一章 Python复习（3）类的私有属性、特殊属性、字典数据类型
1.类变量和实例变量参考文档 实例变量是属于每一个实例独有的变量，类变量可以被类的所有实例共同访问class Dog: kind = 'canine' # class variable shared by all instances def __init__(self, name): self.name = name # in...
2018-09-12 22:01:12
147
原创 Docker学习---案例：在Docker上部署CDH QuickStartVM
注意：这里案例是从官网上下载镜像并手动加载，其实可以直接从阿里云镜像站pull quickstartVM镜像部署环境安装步骤1.在台式PC机上安装centos7.5操作系统参考之前的学习日志，此处略2.安装配置docker参考之前的学习日志，此处略3.安装配置docker-machine参考之前的学习日志，此处略4.安装VirtualBox参考之前的...
2018-09-09 20:49:32
8086
原创 Docker学习（1）---安装Docker
安装Docker官网文档参考 注意默认是普通用户进行安装，不用root1.安装稳定版仓库$ sudo yum install -y yum-utils device-mapper-persistent-data lvm2$ sudo yum-config-manager --add-repo https://download.docker.com/linux/cento...
2018-09-09 19:08:42
266
转载 VBoxManage 命令详解
查看当前虚拟机VBxoManage list vms查看当前正在运行的虚拟机VBoxManage list runningvms启动虚拟机VBoxManage startvm 虚拟机名无前端图形界面方式启动虚拟机VBoxManage startvm 虚拟机名 –type headless使用 VRDP 方式通过命令行启动虚拟机： (3389)VBoxManage...
2018-09-09 13:26:21
1450
转载 机器学习 第一章 Python复习（2）数据结构之list以及初步自定义类
第二课 数据结构之listlist参考文档 定义一个数组，可以放数字、字符串、甚至一个函数，可以直接运行数组中的函数def showMe(): print("xiaotong")items = [23,'男',showMe]items[2]()如下案例来自官网，供后续参考>>> fruits = ['orange', '
2018-09-09 13:25:38
225
转载 数据库学习摘记 SQL篇之DDL/DML/DCL/TCL
DDL-Data definition language维基百科 用在定义或改变表（TABLE）的结构，数据类型，表之间的链接和约束等初始化工作上，他们大多在建立表时使用。DDL不需要commit（DDL都是被隐式提交，不能对DDL语句使用ROLLBACK命令）。CREATE # 创建表,在数据库创建对象ALTER # 修改表,修改数据库结构DROP # 删除表,从数据库...
2018-09-03 21:44:40
183
原创 机器学习 第一章 Python复习(1)
Pyhon 基础语法复习第一课，编码、数据类型、自定义函数编码参考文档 python3默认为UTF-8，如果使用其他编码，需要在文档顶部加入如下申明，但是如果有shenbang符号，需要加在shenbang语句下面#!/usr/bin/env python3# -*- coding: cp1252 -*-数据类型string类型参考文档r代表原样输出...
2018-08-26 13:18:57
242
原创 ubuntu 下搭建开发LAMP环境（linux apache mysql python）
快速搭建lamp开发环境 :ubuntu16.04 mysql5.7 apache2.4 python3.5
2017-01-13 15:14:35
3624
原创 Python 的结构型设计模式——适配器模式
适配器模式 适配器模式是一种接口适配技术，可以通过某个类来使用另一个接口与之不相容的类，运用此模式时，两个类中的接口都无需改动。例如，我们想把某个类从原先的应用场景中拿出来放在另一个环境下运行，而这个类又不能修改，那可以考虑适配器模式。
2017-01-05 19:14:09
616
原创 python创建型设计模式——原型模式、单例模式
原型模式 如果想根据现有对象复制出线的对象并进行修改，那么可以考虑原型模式python 创建对象的7种方法单例模式在整个程序运行的过程中，如果某个类只应该有一个实例，可以通过单例模式来保证
2017-01-04 12:37:51
366
原创 python创建型设计模式学习——工厂方法模式
应用情形如果子类的某个方法要根据情况，来决定用什么类去实例化相关对象,可以考虑工厂方法模式。此模式可以单独使用，也可以再无法预知对象类型的时候使用，例如待初始化的对象类型要从文件中读入或者由用户输入。参照书上例子，根据用户的调用，创建国际跳棋或者国际象棋的棋盘。引入相关模块import ioimport itertoolsimport osimport sysimport tempfile
2017-01-04 12:06:08
319
原创 python创建型设计模式——建造者模式
建造者模式 与工厂模式相似，用于创建需要由多个对象组成的复杂对象。区别在于他不仅提供了创建复杂对象所需要的方法，而且保存了复杂对象里的各个部分的细节。适用于需要把复杂对象各个部分的细节与其创建流程相分离的场合。表单生成程序的例子，分别生成HTML和ThinkerGUI表单最顶层调用创建两个表单，并分别写入对应文件中，都会调用create_login_form()并传入建造者对象def main
2017-01-02 20:27:59
548
原创 python创建型设计模式学习——抽象工厂模式
python创建型设计模式学习抽象工厂模式 抽象工厂模式用来创建复杂对象，这种对象由许多小对象组成，而这些小对象都属于某个特定的系列。例如GUI系统里面的“抽象控件工厂”用字符串GUI的文本格式和svg格式的抽象工厂来说明经典风格的抽象工厂模式顶层调用def main(): ... txtDiagram = create_diagram(DiagramFactory())
2017-01-02 10:29:37
485
原创 C语言栈结构实现
由于各种各样的原因，时隔半年，再也没碰过数据结构，现在一方面为明年考研做准备另一方面也是科研需要提升自己的编程能能力，现在重新继续数据结构的学习，选择的教材是严蔚敏老师的C语言数据结构，I will be a sticker!栈结构实现stack.h#ifndef __STACK_H#define __STACK_H#define STACK_INIT_SIZE 100
2015-11-14 14:34:42
309
原创 c/c++单链表（严蔚敏）
/*单链表，改进版，有头节点、尾指针和当前指针以及链表长度,归并排序*/ #include #includetypedef int State;typedef struct { int id;}ElemType;typedef struct LNode{ ElemType data; struct LNode * next;} *Link,*Posi
2015-03-29 18:59:11
511
原创 顺序表（c/c++）
/*顺序表 （已测试） */ #include#include#define INIT_LIST_SIZE 80#define LIST_INCREAMENT 10typedef int State;const int OK = 1;const int OVERFLOAW = 0;const int EQUAL = 1;const i
2015-03-27 23:18:45
492
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人