Thomas_an的博客

原创 MySQL基础（一）SQL基础

DDL(Data Definition Languages)数据定义语言，常用关键字包括create、drop、alter等0.连接数据库$mysql -u root -pconnection id 表示的是连接次数1.创建数据库 CREATE DATABASE dnname2.默认的数据库information_schema:主要存储了系统中的一些数据库对象信息，如用户表信息、列信息、权限...

原创 python 21天网络爬虫使用 代理

from urllib import request"""使用代理"""url = "http://httpbin.org/ip"#设置代理的服务器的ip和端口，以及协议类型handler = request.ProxyHandler({"http":"121.232.194.71:9000"})opener = request.build_opener(handler)...

原创 Spark入门（一）

Spark是什么？Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。在处理大规模数据集的时候，速度是非常重要的。Spark的一个重要特点就是能够在内存中计算，因而更快。即使在磁盘上进行的复杂计算，Spark依然比MapReduce更加高效。Spark与Hadoop紧密集成，他可以在YARN上运行...

原创 Apache spark2.1.0编译hadoop-2.6-cdh5.11.2的对应版本

Apache spark2.1.0 编译 hadoop-2.6-cdh5.11.2 的对应版本搞了两天，终于把spark编译成功了，把编译过程记录一下编译失败的坑：　　1)linux内存不足，maven编译过程中内存溢出　　2)找不到cloudera仓库　　3)报各种错误考虑到maven下载可能会被墙，于是买了国外的云主机,内存4g，终于编译成功了，并且编译速度相当快，只花了8分钟...

原创 Java 多线程

在Java中，如果要实现多线程，必须依靠一个线程的主体类(就好比主类的概念一样，表示的是一个线程的主类)。但是这个线程的主体类在定义时也需要一些特殊的要求，即类需要继承Thread类或实现Runnable(Callable)接口来完成定义多线程的实现继承Thread类，实现多线程public class MyThread extends Thread { //多线程的操作类 ...

原创 scala学习之路(八)继承

Scala继承要点：extends、final关键字和Java中相同重写方法必须用override只有主构造器可以调用超类的主构造器你可以重写字段1.扩展类2.重写方法3.类型检查和转换4.受保护字段和方法5.超类的构造6.重写字段7.匿名子类8.抽象类9.抽象字段10.构造顺序和提取定义11.Scala类继承关系12.对象相等性13.值类...

原创 scala学习之路(七)包和引入

Scala中的包和引入语句要点：包也可以嵌套包路径不是绝对路径包声明链x.y.z不自动将中间包x和x.y变成可见尾页文件顶部不带花括号的包声明在整个文件范围内有效包对象可以持有函数和变量引入语句可以引入包、类和对象引入语句可以出现在任何位置引入语句可以重命名和隐藏特定成员java.lang、scala和Preded总是被引入1.包2.作用域规则3.串联式包语句4....

原创 scala学习之路(六)对象

对象要点：用对象作为单例或存放工具方法类可以拥有一个同名的伴生对象对象可以拓展类或特质对象的apply方法通常用来构造伴生类的新实例如果不想显式定义main方法，可以用拓展App特质的对象可以通过拓展Enumeration对象来实现枚举1.单例对象2.伴生对象3.扩展类或特质的对象4.apply对象5.应用程序对象6.枚举练习...

原创 scala学习之路(五)类

Scala类要点：类中的字段自动带有getter方法和setter方法可以使用定制的getter/setter方法替换掉字段的定义，不必修改使用类的客户端——“统一访问原则”用@BeanProperty注解来生成JavaBeans的getXxx/setXxx方法每个类都有一个主要的构造器，这个构造器和类定义“交织在一起”。它的参数直接成为类的字段。主构造器执行类体中所有的语句。辅助...

原创 scala学习之路(四)映射和元组

映射和元组1.构造映射2.获取映射中的值3.更新映射中的值4.迭代映射5.已排序映射6.与Java的互操作7.元组8.拉链操作练习

原创 scala学习之路(三)数组

数组相关操作要点：长度固定用Array,长度变化用ArrayBuffer提供初始值时不要用new用()来访问元素用for(elem <- arr来遍历元素)用for(elem <- arr if ...) yield ... 来将原数组转型为新数组scala数组和java数组可以互相操作;用ArrayBuffer，使用scala.collection. JavaC...

原创 scala学习之路(二)控制结构和函数

Scala(二)控制结构和函数条件表达式语句终止块表达式和赋值输入和输出循环函数默认参数和带名参数变长参数过程懒值异常 1. 条件表达式if/else 语法结构和Java一样。但是scala中if/else有返回值，这个值就是在if或else之后的表达式的值if (x>0) 1 else -1 //返回值是1或-1val s = if(x>...

原创 scala学习之路(一)基础

Scala(一)基础使用Scala解释器用var和val定义变量数字类型使用操作符和函数浏览Scaladoc命令行模式下使用解释器从技术上讲，scala并不是一个解释器。实际发生的是，你输入的内容被快速地编译成字节码，然后这段字节码交由Java虚拟机执行。正因为如此，大多数的Scala程序员更倾向与将它称为REPL(Read取值 -> Evaluation求值 -&gt...

原创 Centos7下搭建Django+uWSGI+nginx基于python3

1.电脑环境Centos7 + python3.6 + virtualenv由于centos自带的是python2.7版本，所以要自己安装新的版本，这里就不对此描述了，直接开工2.具体流程使用python虚拟环境1.在自己想要创建虚拟环境的文件夹下创建虚拟环境，我们的uWSGI也是安装在虚拟环境中1 virtualenv Env2 cd Env3 cd bin4 启动虚拟环境...

原创 java Date 和 数据库Date,DateTimed

Java 向数据库中输入datetime类型数据Java 可以使用jdbc访问数据库，我们通常使用的时间是java.utils.Date。后来尝试使用java.sql.Date朝数据库中写入时间，发现了一个问题，这些写入的时间，无一例外的没有后面的小时等信息，只有年-月-日java.sql.Date只表示数据库中日期的部分，如果想向数据库中写入完整的时间，如2016-12-11 17:10:...

原创 Java IO编程

1.文件操作类: FileFile file = new File(“PATH”)NO.方法类型描述1public File(String pathName)构造传递完整文件操作路径2public File(File parent, String child)构造设置父路径与子文件路径3public boolean createNewFile(...

原创 Hive内部表，外部表，分区表的创建

--------创建内部表------------默认存储在/user/hive/warehouse下 也可以通过location指定删除表时，会删除表数据及元数据create table if not exists db_study.student(id String ,name String)ROW FORMAT DELIMITED FIELDS TERMINATED BY ...

原创 Java int与Integer的区别

Java int与Integer的区别 前言 &nbsp; &nbsp;&nbsp;&nbsp; &nbsp; &nbsp;int与Integer的区别从大的方面来说就是基本数据类型与其包装类的区别：&nbsp; &nbsp; &nbsp;int 是基本类型，...

原创 Mybatis架构图

转载 大数据入门博客

GitChat 作者：Fickr孫啟誠 原文： 三个月大数据研发学习计划实战解析 申明：本文旨在为普通程序员（Java程序员最佳）提供一个入门级别的大数据技术学习路径，不适用于大数据工程师的进阶学习，也不适用于零编程基础的同学。前言：一、背景介绍 二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（...

原创 数据结构 — Java链表

数据结构 — Java链表package linkTest;class Link { //===============内部类=================== private class Node{ private String data; private Node next; public Node(String data) { this.data = da...

原创 Java 日期类型与字符串的相互转换

Java 日期类型与字符串的相互转换日期类型中，英文字符的含义:字符含义示例GEra标志符Text ADy年 Yearyyyy 1996; yy 96Y当天所在的周属于的年份YYYY 1996M年中的月份Month MMM =&gt; July; Jul; MM =&gt; 07w年中的周数Number 27W...

原创 Scala（一）基础

Scala入门（一）使用Scala解释器用var和val定义变量数字类型使用操作符和函数浏览Scaladoc命令行模式下使用解释器从技术上讲，scala并不是一个解释器。实际发生的是，你输入的内容被快速地编译成字节码，然后这段字节码交由Java虚拟机执行。正因为如此，大多数的Scala程序员更倾向与将它称为REPL（Read取值 -&amp;amp;gt; Evaluation求值 -&amp;amp;g...

原创 DB sql每日练习

Mysql每日训练创建表以及插入联系数据---建表---学生表CREATE TABLE `Student`( `s_id` VARCHAR(20), `s_name` VARCHAR(20) NOT NULL DEFAULT '', `s_birth` VARCHAR(20) NOT NULL DEFAULT '', `s_sex` VARCHAR(10)...

转载 Docker概念详解

容器的概念什么是Docker？Docker思想、特点Docker容器主要解决什么问题容器 VS 虚拟机Docker基本概念： 镜像（Image），容器（Container），仓库（Repository）Docker 是世界领先的软件容器平台，所以想要搞懂Docker的概念我们必须先从容器开始说起。一 先从认识容器开始1.1 什么是容器？先来看看容器较为官方的解释一句话概括容器：容器就是将软件打包...

原创 Hadoop MapReduce 之wordcount

Hadoop MapReduce 之wordcountpackage wordcount;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org...

原创 HDFS java api文件基本操作 CDH-5-11-2

HDFS java api 文件基本操作package hdfs;import java.io.BufferedReader;import java.io.ByteArrayInputStream;import java.io.File;import java.io.IOException;import java.io.InputStreamReader;import java.n...

原创 hadoop之hdfs文件系统

（一）传统的网络文件系统NFS传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFSServer时，很容易造成服务器压力，造成性能瓶颈。另外如果要对NFS中的文件进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是不可见的。某种程度上，NFS不是一种典型的分布式系统，虽然...

原创 MySQL5.7.23 zip压缩包 windows 安装方式

1.官网下载好MySQL zip包，解压到本地目录2.在MySQL目录下新建my.ini文件，以及data目录(用于存放mysql的数据)3.配置my.ini文件，basedir和datadir根据位置确定4.为了方便操作，在环境变量中　　添加 MySQL_HOME=安装目录　　编辑path，添加 %MySQL_HOME%\bin5.初始化msql :　　　　　　　mysql ...

原创 编译型语言，解释型语言，脚本语言

编译型语言　　编译型语言在执行之前就将代码编译成了机器语言，当执行的时候就直接运行机器语言，就可以了，如java，编译之后产生.class文件，然后JVM直接执行编译产生的文件就可以了，只要源代码没有发生改变，就不用再次编译，大大提高了执行速度解释性语言解释性语言的程序不需要编译，省了道工序，解释性语言在运行程序的时候才翻译，比如解释性basic语言，专门有一个解释器能够直接执行basic...

原创 ASCII,Unicode,UTF8编码的认识

　　最早的计算机是由美国人发明的，最早的编码系统就是ASCII码，通过八位二进制(一个字节)表示128个字符abcAbc+- 等等。。。　　问题来了：那么ASCII码只能表示英文字符和些特殊符号，那其他非英语国家怎么办呢？　　于是中国发明了gbk编码，印度发明了....　　世界编码变得混乱，于是国际组织发布了一套编码，把所有编码归纳进来=>Unicode编码。这套编码表的编号从0一直...

原创 Centos7下安装Mysql5.7

安装前先确认没有其他mysql相关配置文件残余1.查看相关安装# rpm -qa | grep -i mysql 　　　　　　　　MySQL-server-5.6.27-1.el6.x86_64 MySQL-client-5.6.27-1.el6.x86_64MySQL-devel-5.6.27-1.el6.x86_642.rpm方式安装的mysql，将安装列表里的内容全都rm...

原创 python学习之路，python基础（一）

变量和简单数据类型变量python中的变量定义无需声明变量类型变量的命名和使用1.变量名只能包含字母，下划线，数字。变量名只能以字母或下划线打头，不能使用数字打头。2.变量名不能包含空格3.不要将python关键字和函数名作为变量4.变量名应该简短又具有描述性，尽量少使用数字1和字母O简单数据类型1.数字python中的数字类型分为整型，长整型，浮点型(int)整型：在3...

原创 djangoORM添加外建出错问题 __init__() missing 1 required positional argument: 'on_delete'

Django在根据models生成数据库表时报 __init__() missing 1 required positional argument: 'on_delete'code: 1 #encoding=utf-8 2 from django.db import models 3 # Create your models here. 4 class BookInfo(model...

原创 PyCharm中Directory与Python package的区别

PyCharm中Directory与Python package的区别对于Python而言，有一点是要认识明确的，python作为一个相对而言轻量级的，易用的脚本语言(当然其功能并不仅限于此，在此只是讨论该特点)，随着程序的增长，可能想要把它分成几个文件，以便逻辑更加清晰，更好维护，亦或想要在几个程序中均使用某个函数，而不必将其复制粘贴到所有程序中。为了支持这一点，Python有一种方法...

原创 python 打印高亮