- 博客(51)
- 收藏
- 关注
RSS订阅转载 MongoDB基础语法学习
MongoDB学习一．登录和退出mongo命令直接加MongoDB服务器的IP地址（比如：mongo 10.77.20.xx），就可以利用Mongo的默认端口号(27017)登陆Mongo，然后便能够进行简单的命令行操作。至于退出，直接exit，然后回车就好了。[plain]$ mongo 10.77.20.xx MongoDB shell version: 2....
2019-04-29 18:29:12
350
转载 Java中的23种设计模式详解及代码和图解
设计模式（Design Patterns） ——可复用面向对象软件的基础设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。 毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化...
2019-03-01 14:55:39
668
原创 hive分区
hive分区方便查询分区表指的是在创建表时指定的partition的分区空间。1.Hive 分区表在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。2.hive分桶1.简介桶是通过对指定列进行哈希计算来...
2019-02-28 16:27:12
595
转载 java各种排序算法的稳定性和时间复杂度小结
选择排序、快速排序、希尔排序、堆排序不是稳定的排序算法，冒泡排序、插入排序、归并排序和基数排序是稳定的排序算法。 冒泡法： 这是最原始，也是众所周知的最慢的算法了。他的名字的由来因为它的工作看来象是冒泡： 复杂度为O(n*n)。当数据为正序，将不会有交换。复杂度为O(0)。直接插入排序：O(n*n)选择排序：O(n*n)快速排序：平均时间复杂度log2(n)*n，所有...
2019-02-24 15:56:50
1283
原创 排序算法你会多少种，时间复杂度和稳定性是怎样的？
内部排序法的性能快速排序法的平均执行时间较少，但是在最坏的情况下它的性能会发生退化，这时不如用堆排序和归并排序法效率高。当序列长度较短时，可采用容易实现的选择排序、插入排序或者冒泡排序法。当序列长度较长时，宜采用快速排序、堆排序或者归并排序。...
2019-02-24 15:50:18
299
原创 进程和线程的区别
进程和线程的区别： 答： 进程：是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竞争计算机系统资源的基本单位。线程：是进程的一个执行单元，是进程内科调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程。一个程序至少一个进程，一个进程至少一个线程。为什么会有线程？每个进程都有自己的地址空间，即进程空间，在网络或多用户换机下，一个服务器通常需要接收大量不确...
2019-01-26 22:18:51
503
原创 jvm垃圾回收机制
jvm 垃圾回收机制 答：垃圾回收机制是 Java 非常重要的特性之一，也是面试题的常客。它让开发者无需关注空间的创建和释放，而是以守护进程的形式在后台自动回收垃圾。这样做不仅提高了开发效率，更改善了内存的使用状况今天本文来对垃圾回收机制进行讲解，主要涉及下面几个问题：a.什么是堆内存？b.什么是垃圾？c.有哪些方法回收这些垃圾？d.什么是分代回收机制？什么是 Java 堆...
2019-01-26 22:02:47
539
原创 spark:将list里的数据保存到本地文件案例
spark:将list里的数据保存到本地文件案例代码：package sparkQLimport org.apache.spark.sql.SparkSessionobject jsonTest { case class Person(id:Int,name:String,age:Int) def main(args: Array[String]): Unit = {...
2018-12-17 19:07:43
2956
原创 spark:单表关联案例
spark单表关联 题目：求孙子和祖父母的关系列表数据：child parentTom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack AliceJack JesseTerry ...
2018-12-12 19:46:24
1038
原创 spark之二次排序案例：要求先按账户排序，在按金额排序
一.Spark 二次排序：当排序的过程中，假如按照key排序使用sortByKey算子的时候，经常有很多key相同的数据，但是我们需要再次根据其他指标将相同key的数据再次细致的进行第二次的排序，这个时候我们就需要用到二次排序。并且很多场景需要三次排序，四次排序，五次甚至更多次的排序。二.案例：要求先按账户排序，在按金额排序数据如下：hadoop@apache ...
2018-12-12 19:28:12
838
原创 spark案例：给定一组键值对("spark",2),("hadoop",6),("hadoop",4),("spark",6)，键值对的key表示图书名称，value表示某天图书销量
案例：给定一组键值对("spark",2),("hadoop",6),("hadoop",4),("spark",6)，键值对的key 表示图书名称，value表示某天图书销量，请计算每个键对应的平均值，也就是计算每种图书的每天平均销量。 spark代码：import org.apache.spark.{SparkConf, SparkContext}o...
2018-12-12 18:51:46
3284
原创 spark排序案例：定义三个文件对文件内容进行排序（数字）
1.排序： 定义三个文件对文件内容进行排序（数字）数据：1.txt788996672.txt808284863.txt88996677 spark代码： import org.apache.spark.{HashPartitioner, SparkConf, SparkContext}object paix...
2018-12-12 18:43:27
2007
原创 spark集群模式的部署
1.Spark 介绍 【1】.spark处理大数据的统一分析计算引擎； a.速度：在迭代循环的计算模型下，spark比Hadoop快100倍； b.易用性：spark提供多种语言的API，如Java、Python、Scala、R、SQL等 c.扩展性：在spark RDD基础上，提供一整套的分析计算模型：spark SQL、spark Str...
2018-12-05 18:28:46
806
原创 案例：Scala之Akka分布式编程
【Akka分布式编程】1. Akka框架 akka框架是actor模型的最佳实践 Akka是使用Scala语言编写的，基于Actor模型的框架。可以用来开发高并发、分布式、基于消息驱动的应用程序。 它被应用在Spark中以实现节点之间的通信。 Akka必须先导入包，Scala支持Maven，也有个sbt（国内支持不是很好）...
2018-12-04 19:32:00
545
原创 scala之高阶函数
Scala基本类型说明------------------------------ 1.scala2.10版本以上将不采用八进制对整数赋值；支持十进制和十六进制(0x或0X) 2.浮点数文本是由十进制数字，可选的小数点和可选的E或e及指数部分组成的函数式编程------------------------------ 函数式编程的特点 函数...
2018-12-04 12:44:01
413
原创 Java基础总结（超详细）
这是本人在学习Java基础时的笔记，仅供参考。如有错误，请指出，谢谢啦！目录【1】接口、包、类、异常等 一、接口：二．异常：【2】字符串一．StringBuilder:可变字符串类型:二．构造器:三．查找字符串中的字符/子字符串的位置四．截取子字符串的方法：【3】面向对象、数组一．面向过程:C,Basic,Pascal二．类:用来...
2018-12-03 17:20:36
570
原创 在Scala中val与var的区别
Scala有两种变量：val和var。val不能重新赋值了。var可以在它生命周期中被多次赋值。 【例子】scala> val a= 3a: Int = 3scala> a=434<console>:12: error: reassignment to val a=434 ^scala> var xzt ...
2018-12-02 20:13:13
508
原创 案例：使用XPath的爬虫（把某贴吧的照片保存到本地）
案例：使用XPath的爬虫现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子，并且将该这个帖子里每个楼层发布的图片下载到本地。# tieba_xpath.py#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport urllibimport urllib2from lxml import etr...
2018-12-02 19:39:37
803
原创 案例：使用正则表达式的爬虫（爬取段子网的关键信息）
案例：使用正则表达式的爬虫现在拥有了正则表达式这把神兵利器，我们就可以进行对爬取到的全部网页源代码进行筛选了。现在我们进入段子网：http://duanziwang.com/根据网页的信息，我们可以爬取段子网的段子内容,代码如下：#-*- coding:utf-8 -*-import urllib2import reclass Spider: """ ...
2018-12-02 19:31:39
1560
原创 python：爬取贴吧的某个吧的网页信息
#-*-coding:utf-8-*-import urllib #负责url编码处理import urllib2import sysimport osif sys.getdefaultencoding() != 'utf-8': reload(sys) sys.setdefaultencoding('utf-8')def writeFile(html,...
2018-12-02 19:19:48
519
原创 用python爬取某个词条的源代码
简单例子：在百度中输入关键词，并爬取该网页的源代码#-*- coding:utf-8-*-import urllib #负责url编码处理import urllib2url = "http://www.baidu.com/s"word = {"wd":"冼焯庭"}word = urllib.urlencode(word) #转换成url编码格式（字符串）newurl...
2018-12-02 17:58:26
600
原创 用python写：完成一个员工管理系统 要求存储员工的工号、姓名、年龄、性别、工资 1、员工录入 2、查询员工信息 3、修改员工信息 4、删除 5、根据工号查看 6、退出
完成一个员工管理系统 要求存储员工的工号、姓名、年龄、性别、工资 1、员工录入 2、查询员工信息 3、修改员工信息 4、删除 5、根据工号查看 6、退出Emp.py#!/usr/bin/python # -*- coding: UTF-8 -*- print "你好，世界";class Emp: def __init__(...
2018-11-27 08:24:43
17798
1
原创 基于Hive安装MySQL
Hive安装(基于MySQL，用yum安装)--------------------------------------------- 1.验证Centos是否安装MySQL $>yum list installed | grep mysql 2.删除MySql $>yum –y remove mysql-libs.X86_64 ...
2018-11-14 16:07:24
284
原创 如何重新格式化Hadoop搭建的hbase环境
背景：其实我之前已经搭建好hbase环境了，但是后来发现我的数据块丢失了，所以我不得不重新格式化整个集群【1】删除各个集群的Hadoop/tmprm -r /home/michael/soft/hadoop/hadoop/tmp【2】先用zkServer.sh start 启动各个zookeeper，再用hadoop-daemon.sh start journalnode启动各个N...
2018-11-09 11:23:56
2461
原创 启动hbase时，Hmaster、HRegionServer进程有时候起不来
它出现的原因可能有是以下两点：第一，可能是各个主机的时间不同步【1】在各个主机上运行：date 命令，看看时间是否同步【2】如果时间不同步的话格式如下：# ntpdate -u 时间服务器IP 例子1：[root@master michael]# ntpdate -u time.windows.com10 May 15:26:28 ntpdat...
2018-11-07 16:14:11
1758
转载 Hadoop的110道简答题
1 简述hadoop的安装配置1.创建hadoop账户2.配置主机名3.配置hosts文件4.配置免密码登录5.安装和配置jdk、修改/etc/profile文件，配置环境变量6.上传和安装hadoop7.配置hadoop配置文件（hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-si...
2018-11-06 08:38:46
4658
原创 hadoop:安装手动HA
1.复制一份配置文件做HA （etc/hadoop） cp hadoop HA_hadoop2.修改配置文件hdfs-site.xml <property> <name>dfs.nameservices</name> <value>mycluster</value> </pro...
2018-11-02 18:22:39
291
原创 window下eclipse运行集群mr时错误总结
1.集群提交修改项 a.确保JobAPP提交至集群 解决方案：修改mapred-site.xml mapreduce.framework.name = yarn b.报重新连接：0.0.0.0/0.0.0.0:8032 解决方案： 修改yarn-site.xml文件 ...
2018-10-24 23:05:22
263
原创 在windows下搭建hadoop+eclipse开发环境
1.去官网下载hadoop-eclipse-plugin-2.7.3.jar（与你Hadoop版本一致） 2.把jar包导入在eclipse安装路径的plugins中 3.重启eclipse4.eclpise调整到map/reduce视图 5.配置hadoop安装目录 window-》preferences-》hadoop ma...
2018-10-19 09:17:28
523
2
原创 安装Centos 6.4提示找不到安装文件 The centos disc was not found in any of your drives.Please insert the centos d
【1】安装Centos 6.4提示找不到安装文件The centos disc was not found in any of your drives.Please insert the centos disc and press OK to retry 解决方法：把CD/DVD的IDE 连接打开 或者在设置中勾选 已连接...
2018-10-12 08:22:18
4085
1
原创 格式化namenode时：Error: JAVA_HOME is not set and could not be found.
1.格式化namenode命令：hdfs namenode -format 如果Error: JAVA_HOME is not set and could not be found. 修改hadoop-env.sh export JAVA_HOME=/home/hyxy/so...
2018-10-11 22:03:07
2598
1
原创 在Linux的Centos6.5搭建hadoop集群环境
Centos6.5搭建hadoop集群环境先概括一下整体思路安装centos6.5主机 关闭防火墙和selinux 配置网络 时间同步 ssh无密码登录设置 安装jdk 安装hadoop 启动 wordcount测试安装centos6.5主机使用vmware创建三台centos操作系统本人的三台主机名与IP如下：master 192.16...
2018-10-08 22:42:57
396
原创 Linux之shell的流程控制语句
一、if-else分支结构if语法格式：if 条件then逻辑块(通常都是些命令)fi写成一行:适用于终端写法If 条件; then 逻辑 ; fi If else语法格式：if 条件then逻辑块(通常都是些命令)else逻辑块fi流程控制语句 if-else分支结构If else-if else语法格式：if 条件...
2018-10-05 21:06:01
228
原创 Linux之Shell脚本编程
Shell概念 一、概念Shell 是一个用 C 语言编写的程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Ken Thompson 的 sh 是第一种 Unix Shell，Windows Explorer 是一个典型的图形界面 Shell。二、Shell 脚本 一种为 shell 编写的脚本程序。业界所说的 shell 通常都是指 shell 脚...
2018-10-01 21:48:30
317
原创 linux之软件包的管理（rpm文件）
rpm: （1）查看软件是否安装 #rpm -q jdk #rpm -qa | grep jdk (2)卸载安装包 # rpm –e jdk 注意：如果其他软件包有依赖关系， 卸载时会产生提示信息， 可使用 --nodeps强行卸载 reg: rpm -e -...
2018-10-01 21:19:49
239
原创 Linux权限管理详解
当我们查询文件权限的时候，输入查看语句。查看文件权限的语句： 在终端输入:ls -l xxx.xxx （xxx.xxx是文件名） 那么就会出现相类似的信息，主要都是这些：drwxr-xr-x. 2 root root 4096 9月 26 19:21 test详情的第一个字段：共有10个字符 drwxr-xr-x第一个字符：表示文件的类型 如: ...
2018-10-01 20:55:23
668
原创 Linux的网络配置
【1】查看windows系统的默认网关在cmd中输入ipconfig其中默认网卡号：192.168.43.1 【2】在linux下查看网卡的信息命令 ifconfig可以看到 我们linux系统下的网卡信息：inet addr:192.168.43.200 网卡eth0的信息查看：cat /etc/sysconfig/network-scripts/if...
2018-10-01 20:21:06
237
原创 Linux的常用命令大全
【1】文件命名规则 1）除了/之外，所有字符都合法2）有些字符最好不要用，如空格符、制表 符、字符@#$&()-等3）避免使用.作为普通文件名的第一个字符。4）大小写敏感【2】命令格式 命令格式：命令 -选项 参数ex: ls -la /etc说明：1）当有多个选项时，可以写在一起2）两个特殊的目录 .和 .. ，分别代表当前目录和当前目录...
2018-09-30 11:40:13
194
原创 如何在注册时使用验证码注册（servlet源码）
【1】书写CheckCodeServlet类package com.hyxy.servlet.session;import java.awt.Color;import java.awt.Font;import java.awt.Graphics;import java.awt.image.BufferedImage;import java.io.IOException;impo...
2018-09-25 19:02:33
383
原创 servlet的生命周期
生命周期分为四个阶段：实例化，初始化 ，就绪，销毁阶段1：实例化 即：容器创建Servlet对象 时机1：容器收到请求后，创建servlet对象 时机2：容器启动后，立即创建servlet对象 Web.xml的<servlert> </servlet>中需要配置 &...
2018-09-19 19:22:30
439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人