- 博客(82)
- 收藏
- 关注
RSS订阅原创 在Linux下修改和重置root密码的方法(超简单)
对于linux新手来说，很容易把root的密码忘记，怎么在Linux下修改和重置root密码的方法，如下操作：1.开机之后在内核上敲击e，然后编辑选项2.在linux16这一行，将红框内的内容改成rw rd.break根据提示，使用组合键CTRL+X进入密码修改3.进入到系统的紧急求援模式4.依次输入以下的命令5.重启有点慢，需要耐心等一会儿，重启之后就可以使用刚才重置的密...
2019-05-09 13:12:32
7044
原创 linux下备份目录文件及目录
一、关于Linux备份文件和应用的几个命令：tar和cp在工作中，经常来备份文件和系统应用，常用到的主要是tar和cp命令，分别介绍如下： 一、tar命令，这个现在经常使用用来打包： tar包指的是档案文件：tar -cvf filename_20140805.tarfilename...
2019-05-09 11:26:37
60793
1
原创 一些简单的shell脚本实例
（1）用户猜数字#!/bin/bash # 脚本生成一个 100 以内的随机数,提示用户猜数字,根据用户的输入,提示用户猜对了,# 猜小了或猜大了,直至用户猜对脚本结束。 # RANDOM 为系统自带的系统变量,值为 0‐32767的随机数# 使用取余算法将随机数变为 1‐100 的随机数num=$[RANDOM%100+1]echo "$num" # 使用 ...
2019-05-09 11:14:52
1821
1
原创 MongoDB4.1.10安装与服务配置
一、软件下载安装1、下载MongoDBhttps://www.mongodb.com/download-center/community 2、双击mongodb-win32-x86_64-2012plus-4.1.10-signed.msi安装程序3、点击Next4、打勾，然后Next5、安装路径选择6、这里我选的是自定义安装...
2019-05-09 11:09:32
855
原创 Dell R730服务器 Raid5配置
Disk Group : 磁盘组，这里相当于是阵列VD(Virtual Disk ) : 虚拟磁盘，虚拟磁盘可以不使用阵列的全部容量，也就是说一个磁盘组可以分为多个VD。PD（Physical Disk）: 物理磁盘HS : Hot Spare热备Mgmt : 管理注：后面咨询了下dell售后服务工程师，安装centos系统不需要F10进行操作系统的选择，直接F11进行光盘...
2019-05-09 10:54:42
7639
原创 解决oracle客户端安装不了的问题？
安装oracle注意：安装oracle之前确定自己的IP和主机（计算机）名不再被修改1.下载以后放到英文目录d:\tools(不要有中文字符)2.安装过程不要任意取消(大约40分钟)3.安装成功后进行测试:3.1 开始–>程序–>Oracle oraHome92–>Application Developpement–>SQLPLUS用户名：scott ，密码...
2019-05-07 20:54:45
2713
原创 实测bbcp多线程文件拷贝工具
bbcp是由SLAC(斯坦福直线加速器中心)的Andy Hanushevsky创立的点对点网络文件拷贝工具。1、安装访问bbcp的主页：http://www.slac.stanford.edu/~abh/bbcp/，下载对应二进制版本或者源码，如果是源码，就需要自己编译。这里直接下载二进制文件源服务器和目标服务器都需要安装bbcp！wget http://www.slac.stanford....
2019-05-06 13:31:32
1698
原创 Linux基础系列修炼---笔记4
ubuntu------------- apt //advanced package tool,高级包工具。 apt-get installcentos------------- ...
2019-04-11 16:45:47
185
原创 Linux基础系列修炼---笔记2
centos基本命令--------------------------- CentOS Windows ...
2019-04-11 16:41:18
173
原创 Linux基础系列修炼---笔记1
核心内容：1、VMware卸载和安装2、linux的基本命令1、VMware卸载和安装卸载VMware---------------- 控制面板-->vmware->卸载。安装VMware---------------- 1.VMware-workstation-full-11.1.2-win...
2019-04-11 16:39:29
190
原创 spark相关面试题总结
（根据博客总结并不断增加自己的内容）1.spark中的RDD是什么，有哪些特性？答：RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合Dataset：就是一个集合，用于存放数据的Destributed：分布式，可以并行在集群计算Res...
2019-04-11 16:11:36
742
原创 intellij idea—— 如何创建web项目
1、创建project： File -> New Project -> ，选择你的Project SDK（我的是1.8） -> Next ->输入project name -> Finish 2、创建一个Module(一个project可以创建多个Module): 鼠标点中项目名称Demo -> 右键选择New，选择Module->同时勾选web ...
2019-04-08 19:20:28
354
原创 windows下安装Redis
第一：去redis官网下载：https://github.com/MSOpenTech/redis/releasesredis支持32位和64位。这个需要跟你的电脑配置实际选择，这里下载的Redis-x64-xxx.zip压缩包到自己安装的路径下，最好给文件命名redis为好。压缩包下载完解压后，文件显示内容如下：打开cdm切换到redis安装目录下运行：切换: 先进入D:然后c...
2019-04-07 19:05:06
216
原创 mysql插入数据
第一步：首先确保建立连接，右键点开cainiao,打开数据库，找到下方的表，找到右侧第二步：点击新建表3.第三步：点击新建表打开4.打开新建表之后，然后添加字段及类型、长度、小数点、主键（id、uname、age），添加完成保存。...
2019-04-07 15:36:37
291
原创 创建mysql数据库
首先，第一步去我的电脑找到管理并且打开，然后找到服务，输入mysql回车，找到Mysql点开启，然后回到桌面找到自己的mysql打开，接下来按照步骤执行：第二步：按照标题提示选择，注意：字符集和排序都是utf类型，然后点确认。第三步：找到表，然后右键选择新建表第四步：增加字段，类型、长度、小数点、以及主键，自动递增，最后保存OK，表创建完了。...
2019-04-07 15:11:13
224
原创 wget，Linux命令wget的使用方法
wget是Linux系统中的一个下载文件的命令工具。对于经常要下载一些软件或从远程服务器恢复备份到本地服务器的用户来说是必不可少的工具。wget支持HTTP，HTTPS和FTP协议，可以使用HTTP代理，可以自动下载、支持断点续传，还很稳定。那么究竟该如何使用wget呢，下面进行详细的步骤讲解。百度经验:jingyan.baidu.com工具/原料Linux百度经验:jingyan.baidu.c...
2019-03-21 19:49:57
1957
原创 Eclipse搭建Maven环境
第一步 : 下载Maven, 解压后将其配置到环境变量中 .解压到一个文件夹中:配置MAVEN_HOME : Path : %MAVEN_HOME%\bin第二步 : 配置Maven参数 : D:\Maven\apache-maven-3.3.9\conf\settings.xml 一个三个配置参需要修改1.下载好的jar包本地存放地...
2019-03-21 17:01:21
533
原创 Hive的介绍 , 安装 , 配置以及启动
1 什么是Hive首先 , Hive是一个 sql 工具；它能接收用户输入的sql语句，然后把它翻译成mapreduce程序对HDFS上的数据进行查询、运算，并返回结果，或将结果存入HDFS；Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。Hive是运行在Hadoop集群上的 , 所以在安装Hive之前 , 应启动Had...
2019-03-21 16:56:12
583
原创 排序算法 之 冒泡排序
冒泡排序是一种极其简单的排序算法，也是我所学的第一个排序算法。它重复地走访过要排序的元素，依次比较相邻两个元素，如果他们的顺序错误就把他们调换过来，直到没有元素再需要交换，排序完成。这个算法的名字由来是因为越小(或越大)的元素会经由交换慢慢“浮”到数列的顶端。 百度百科介绍 :冒泡排序算法的运作如下：1 . 比较相邻的元素，如果前一个比后一个大，就把它们两个调换位置。2 . 对...
2019-03-21 16:51:40
325
原创 基于Spark2.x新闻网大数据实时分析可视化系统项目
本次项目是基于企业大数据经典案例项目（大数据日志分析），全方位、全流程讲解 大数据项目的业务分析、技术选型、架构设计、集群规划、安装部署、整合继承与开发和web可视化交互设计。项目代码托管于github，大家可以自行下载。一、业务需求分析捕获用户浏览日志信息实时分析前20名流量最高的新闻话题实时统计当前线上已曝光的新闻话题统计哪个时段用户浏览量最高二、系统架构图设计三、系统数据流程设计四、集群资源...
2019-03-21 09:56:17
2639
2
原创 大数据项目流程
Spark项目运作流程详解项目运行架构 </div> <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-258a4616f7.css" rel="stylesheet"> </div>...
2019-03-21 09:45:44
2166
原创 共享单车项目分析
一、提出问题在本项目中，参与者被要求将历史使用模式与天气数据相结合，以便预测华盛顿特区的自行车租赁计划中的自行车租赁需求。二、理解数据2.1 收集数据一般而言，数据由甲方提供。若甲方不提供数据，则需要根据相关问题从网络爬取，或者以问卷调查形式收集。本次共享单车数据分析项目数据源于Kaggle。获取数据后需要对数据整体进行分析，从而提炼问题，为后续建模奠定基础。首先查看Kaggle所提供的数据描述：...
2019-03-21 09:40:36
1734
原创 ETl讲解（很详细！！！）
ETL讲解（很详细！！！） ETL讲解（很详细！！！） ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到...
2019-03-21 09:38:18
820
原创 排序算法 之 快速排序
快速排序（Quicksort）是对冒泡排序的一种改进。它的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。一趟快速排序的算法是：1）设置两个变量i、j，排序开始的时候：i=0，j=N-1；2）以...
2019-03-20 14:32:20
222
原创 大数据BAT经典面试题
1、kafka的message包括哪些信息一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如...
2019-03-20 14:30:50
306
原创 Sqoop的安装,简介与简单使用
1 Sqoop的安装首先,sqoop的下载地址:http://sqoop.apache.org/点击download点击这个链接即可下载将sqoop下载到本地以后 , 传到 Linux 平台 , 然后解压到自己的指定目录 , 修改配置文件 , 配置sqoop到 /etc/profile 变量里面 , 在lib下面添加连接数据库的jar包因为原来的ev...
2019-03-20 14:18:19
475
原创 Flume的简介、原理与安装
1、前言flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.官网：h...
2019-03-20 13:58:51
200
原创 | java面试题总结 | 三
目录43.Java 中的两种异常类型是什么？他们有什么区别？44.Java 中 Exception 和 Error 有什么区别？45.1 throw 和 throws 有什么区别？45.2 异常处理的时候，finally 代码块的重要性是什么？46.异常处理完成以后，Exception 对象会发生什么变化？47.finally 代码块和 finaliz...
2019-03-20 13:53:51
1304
原创 java面试题总结 | 二
目录面向对象编程（OOP）封装多态继承抽象抽象和封装的不同点1.什么是 Java 虚拟机？为什么 Java 被称作是“平台无关的编程语言”？2.JDK 和 JRE 的区别是什么？3.”static”关键字是什么意思？Java 中是否可以覆盖(override)一个 private 或者是 static 的方法？  ...
2019-03-20 13:52:32
161
原创 | java面试题总结 | 一
目录1、面向对象的特征有哪些方面? 2、访问修饰符public,private,protected,以及不写（默认）时的区别？3、String 是最基本的数据类型吗?4、float f=3.4;是否正确?5、short s1 = 1; s1 = s1 + 1;有错吗?short s1 = 1; s1 += 1;有错吗?6、Java 有没有go...
2019-03-20 13:51:06
1123
原创 HDFS客户端基本shell操作
# hdfs version 查看HDFS版本# hadoop fs -ls / 查看HDFS根目录下的文件和目录# hdfs dfs -ls -R /这条会列出/目录下的左右文件，由于有-R参数，会在文件夹和子文件夹下执行ls操作 , 会递归# hadoop fs -mkdir /test 在根目录创建一个目录test# hdfs dfs -cat /hd...
2019-03-20 07:23:03
313
原创 打印日志文件并将其上传存到HDFS中
在本地打印日志 , 对日志文件进行分析 , 把需要上传的日志文件移动到待上传目录 , 将待上传的日志文件逐个上传到HDFS , 并移动到备份目录 , 定期清理过期备份日志 .1.首先生产日志文件:/** * 生产日志 * @author Administrator * */public class MoreLog { public static void ma...
2019-03-19 23:03:20
1159
原创 RDD的算子
综述转换类的算子Transformation，会生成新的RDD，lazy执行的。所有的transformation只有遇到action才能被执行行动类的算子action，会立即触发任务的执行，不会生成RDD把数据写入到相应的介质，展示结果数据（收集到driver）Transformationmap一一映射的，对某一个RDD执行map，每一条数据执行操...
2019-03-19 22:53:00
276
原创 Spark 中 RDD 的详细介绍
RDD ---弹性分布式数据集RDD概述RDD论文中文版 : http://spark.apachecn.org/paper/zh/spark-rdd.htmlRDD产生背景为了解决开发人员能在大规模的集群中以一种容错的方式进行内存计算，提出了 RDD 的概念，而当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是RDD...
2019-03-19 22:49:57
250
原创 SQL 优化
1、目的数据库参数进行优化所获得的性能提升全部加起来只占数据库应用系统性能提升的40%左右，其余60%的系统性能提升全部来自对应用程序的优化。许多优化专家甚至认为对应用程序的优化可以得到80%的系统性能提升。因此可以肯定，通过优化应用程序来对数据库系统进行优化能获得更大的收益。对应用程序的优化通常可分为两个方面: 源代码的优化和SQL语句的优化。由于涉及到对程...
2019-03-19 22:46:55
212
原创 大数据实战项目--中国移动运行分析
1、项目背景中国移动公司旗下拥有很多的子机构,基本可以按照省份划分. 而各省份旗下的充值机构也非常的多.目前要想获取整个平台的充值情况，需要先以省为单元，进行省份旗下的机构统计，然后由下往上一层一层的统计汇总，过程太过繁琐，且统计周期太长，且充值过程中会涉及到中国移动信息系统内部各个子系统之间的接口调用，接口故障监控也成为了重点监控的内容之一，为此建设一个能够...
2019-03-19 22:44:43
1271
1
原创 IntelliJ IDEA 使用Maven创建Spark WordCount
Maven选择Scala环境搭建主要是两种方式一种是传统的Maven还有一种是Sbt，不过使用Sbt一直都是慢爆了，找了很多解决方法还是很慢，所以Maven是个很好的替代品，从Java过来的应该都会创建项目1.使用Idea创建新的Maven项目，勾选Create from archetype 然后选择canel-archetype-scala,如下图所示2.这个archetype会生...
2019-03-18 21:01:26
1620
原创 Eclipse连接Hadoop集群及WordCount项目实践
一、环境准备1、JDK安装与配置2、Eclipse下载下载解压即可，下载地址：https://pan.baidu.com/s/1i51UsVN3、Hadoop下载与配置下载解压即可，下载地址：https://pan.baidu.com/s/1i57ZXqt配置环境变量：在系统变量中新建变量：HADOOP_HOME，值：E:\Hadoop\hadoop-2.6.5在Path...
2019-03-17 22:59:51
365
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人