- 博客(44)
- 收藏
- 关注
RSS订阅原创 C盘清除多余文件
1.win+R键，搜索%temp%,Temp文件夹，里面是临时文件，可一键删除。2.Prefetch文件夹是电脑访问过的痕迹，可一键删除。3.C:\Windows\SoftwareDistribution\Download文件夹下是系统日常更新的补丁和安装包，可一键删除。4.C:\Windows\System32\LogFiles，里面是系统缓存日志，可一键删除。完美！！！...
2022-04-29 12:17:53
4126
原创 让烦人的弹窗广告消失操作
1.打开控制面板，点开网路和Internet2.查看Internet属性，阻止显示大多数弹出窗口，设置高级阻止。大功告成，广告再也看不见了！！！
2022-04-29 11:58:54
1258
原创 R与RStudio的安装
一、R的安装下载安装包R的官方网站：https://cran.r-project.org/双击安装包这上下之间跳了两步，直接按默认下一步就ok二、安装RStudio下载rstudio免费的官方网站https://www.rstudio.com/products/rstudio/download/双击打开安装即可！到这就结束了，各位小伙伴如果有疑问可是评论或者私信哟！...
2021-04-25 15:44:54
588
原创 你确定不认识一下“pip”？
Python 3.4+以上版本都自带 pip 工具，pip 是 Python 第三方库管理工具，提供了对Python 包的查找、下载、安装、卸载的功能。1，查看系统是否安装了pippip --version2，安装python库pip install -v 库名==版本号 #安装指定版本或者pip install 库名 #安装最新3，删除python库pip uninstall 库名==版本号或者pip uninstall 库名4，列出系统的所有库...
2021-03-25 23:06:09
242
原创 Jupyter Notebook 配置多个python虚拟环境笔记
打开anconda prompt第一种形式1.查看当前存在的虚拟环境conda env list或者：conda info -e2.创建新的虚拟环境conda create -n 你的虚拟环境的名字 python=版本号 ipykerneleg:conda create -n py36 python=3.6.8 ipykernel3.激活新建环境conda activate 你的虚拟环境的名称eg:conda activate py364.将配置文件生成在本账户的目录下pyt
2021-03-17 11:46:01
494
原创 Jupyter Notebook的快捷按键使用
一.代码输入与编辑1.首页 如图为首页界面Files显示所有文件Running显示当前已经打开的终端和notebookClusters由IPython parallel 包提供，用于并行计算2.notebook页面标题，工具栏，快捷键，编辑区，不需赘述！二.tab补全按下tab，具有补全功能三.常用快捷键1.按Enter进入编辑模式ctrl+enter：运行当前代码shift+enter：运行当前代码并指向下一个单元alt+enter：运行本单元代码并在下方插入新单元2.按
2021-03-16 17:59:30
989
原创 第二篇***DDL&&DML操作
DDL&&DML一、DDL1、库的管理2、表的管理3、表中列的管理二、DML1、插入操作2、数据更新3、删除数据操作注意一、DDLDDL：data define language数据定义语言，主要用来对数据库，表进行一些管理操作。eg：建库，删库，建表，修改表，删除表，对列的增删改查等。1、库的管理###用[]包含的内容属于可选项1、创建库create database [if not exists] 库名;2、删除库drop database [if exists
2021-02-17 19:49:16
231
原创 第一篇***Mysql预备基础知识
目录一、数据库常见的概念二、数据库存储数据的特点三、Mysql常用的一些命令四、MySQL中数据类型五、数据库管理员常用的命令一、数据库常见的概念1、DB: 数据库，存储数据的容器。2、DBMS：数据库管理系统，用于管理或创建DB。3、SQL：结构化查询语言，用它与数据库通信，几乎所有主流数据库软件通用的语言。4、SQL语言分为：DQL（data query language）：数据查询语言select相关语句；DML（data manipulate language）：数据操作语句inse
2021-01-21 16:38:22
185
原创 数据分析基本方法
一般情况下，我们所说的分析是指，使用大量数据的统计方法，定性定量分析、解释和预测以及基于事实的管理来推动决策过程与实现价值提升。根据分析的方法和目的，数据分析可以被划分为描述性分析（descri-ptive analytics）、预测性分析（predictive analytics）和规范性分析（prescriptive analytics）。描述性分析包括数据收集、整理、制表、制图以及描述正要研究的食物的特征，这类分析以往被称为“报告”。描述性分析可能非常有用，但它不能解释某种结果出现的原因或者未来可
2021-01-20 13:11:32
598
原创 详谈数据分析这件事
1、数据分析到底是个啥玩意呢？其实数据分析并没有那么神秘，因为每个人生活中，每天都在经历着数据分析，比如说，你早上因为闹钟没响起床晚了，需要分析怎么样去公司才不会迟到。当然，除了刚在这个案例以外，生活中还有很多其他的案例也表明了数据分析始终贯穿着我们的生活，比如有记账行为的同学每隔一段时间会根据自己之前的记账记录，来分析自己上个月在哪方面用钱大手大脚了，那下个月就会在某些方面克制些等等。那到底啥是数据分析呢？从上面这些其实可以看出一些共同点，首先，得需要有一些数据，无论是历史的，还是当下的，还是未来的；
2021-01-20 12:52:05
383
原创 spring-tool-suite-4-4.9.0 安装及开发环境搭建
spring-tool-suite-4-4.9.0 安装及开发环境搭建1，官网下载https://spring.io/tools/我下载的windows版本的[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2q5gbYXr-1610978347937)(C:\Users\wallasunRui\AppData\Roaming\Typora\typora-user-images\image-20201226194358939.png)]2，下载好之后，选择一个路径进行解
2021-01-18 22:14:26
1257
原创 hive实例操作
Hive操作演示在usr下，mkdir /wanghadoop fs -mkdir /upload hadoop fs -chmod g+w /upload 上传数据[root@master wang]# hadoop fs -put emp.csv /upload[root@master wang]# hadoop fs -put dept.csv /upload服务端：hiveserver2 &客户端：使用anonymous登录beeline -u jdbc:hi
2021-01-18 22:08:45
520
原创 Hive远程模式 Remote安装
Hive安装配置1. Hive介绍Hive的用途方便对文件及数据的元数据进行管理，提供统一的元数据管理方式提供更加简单的方式来访问大规模的数据集，使用SQL语言进行数据分析metadata概念hdfs的元数据保存在namenode里，hive的元数据要放在数据库里，它是一个类似于表的格式，方便后面在做SQL转化的时候使用，用SQL语句可以直接查询访问metadata包含用Hive创建的database、table等的元信息metadata存储在关系型数据库中，如Der
2021-01-18 22:05:22
565
原创 更为详细，快速的学习HBase，你值得拥有！
第1章HBase简介1.1 HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2HBase数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。1.2.1HBase逻辑结构1.2.2HBase物理存储结构1.2.3数据模型1）Name Space 命名空间，类似于关系型数据库的..
2021-01-18 21:56:07
174
原创 Django连接数据库报错内容及解决方法
1，执行python manage.py makemigrations报错内容：raise ImproperlyConfigured(‘mysqlclient 1.4.0 or newer is required; you have %s.’ % Database.version)django.core.exceptions.ImproperlyConfigured: mysqlclient 1.4.0 or newer is required; you have 0.10.1.主要是 因为MyS
2020-12-23 20:44:53
645
1
原创 C语言学习【7】——字符串
在 C 语言中，字符串实际上是使用 null 字符 ‘\0’ 终止的一维字符数组。因此，一个以 null 结尾的字符串，包含了组成字符串的字符。C 编译器会在初始化数组时，自动把 ‘\0’ 放在字符串的末尾。C 中有大量操作字符串的函数：...
2020-12-13 19:19:40
123
1
原创 Warning: Permanently added ‘slave1,192.168.80.6‘ (ECDSA) to the list of known hosts.
这个警告，不管在哪一步提示，重新搭建hadoop的集群是最根本的解决办法！！！
2020-12-10 13:28:54
2330
1
原创 搭建---Eclipse视图操作Hdfs及HDFS API---java
目录一，连接hdfs0.用host管理工具添加1.配hadoop插件2.启动eclipse，再配置其他项二，HDFS API---java1.解压hadoop，配置环境变量2.把另外两个文件放进hadoop的bin下，一个是hadoop.dll，一个是winutils.exe3.hadoop的环境变量添加到的eclipse中：windows->prefence-->搜索hadoop，导入hadoop的安装目录4.创建一个java工程，使用java API.
2020-12-07 22:21:27
568
原创 稳了！centos7安装mysql5.7
目录1.安装wegt2.下载mysql3.安装mysql4.初始化mysql并为mysql设置登录密码5.启动mysql服务，并查看其状态6.进入mysql，查看数据库7.为方便使用，设置一下，使windows下的navicat可以连接linux中的mysql1.安装wegt[root@master ~]# yum install wget2.下载mysql[root@master ~]# wget http://repo.mysql.com/my...
2020-12-06 16:43:33
123
原创 必须要掌握的【Hbase Shell】
目录Hbase Shell一,基本命令二，数据模型三，表的管理四，表数据的增删改查五，hbase数据迁移的importtsvHbase Shell启动[root@master conf]# hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/usr/hadoop/hbase-1.6.0/lib/slf4j-log4j12-1.7.
2020-12-06 13:02:31
612
原创 The authenticity of host ‘master (192.168.80.5)‘ can‘t be established.
在Hadoop平台搭建过程中，已经生成了公钥和私钥。但是启动start-dfs.sh时出现以下：[root@master sbin]# start-dfs.shStarting namenodes on [master]The authenticity of host 'master (192.168.80.5)' can't be established.ECDSA key fingerprint is SHA256:kwMDpIlPjgPyTTQLN3Tg2pCFoXTiWmijpXICUN7v
2020-12-04 21:20:58
3903
原创 javac不是内部或外部命令,也不是可运行的程序
javac不是内部或外部命令,也不是可运行的程序。主要原因：win10系统中，Path要用绝对路径，不然不识别。1.设置用户变量2.设置系统变量 .;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jarPath：
2020-12-02 15:58:45
766
原创 大数据平台——HDFS的Shell操作 (1)
HDFS的Shell操作1.语法介绍1.1 通用语法hdfs dfs [选项]1.2 创建文件夹hdfs dfs -mkdir [-p]<paths>1.3 列出文件、目录[-d] 返回path[-h] 人性化显示大小(human-readble)[-R] 级联显示path下的目录hdfs dfs -ls [-d][-h][-R]<paths>显示级联目录hdfs dfs -ls -R <paths>1.4 新建文件hdfs dfs -
2020-11-27 10:48:52
371
原创 大数据平台——HBase安装配置详解
HBase安装配置1.环境变量配置将安装包上传至CentOS中，解压安装包到hadoop目录下tar -zxvf hbase-1.3.6-bin.tar.gz -C /usr/hadoop在hadoop目录下创建zookeeper文件夹mkdir zookeeper配置环境变量，vi /etc/profile在末尾添加以下代码，保存退出export HBASE_HOME=/usr/hadoop/hbase-1.3.6export PATH=$HBASE_HOME/b
2020-11-27 10:48:28
816
原创 Spark系列——实验1-Spark Shell基础
Spark中Scala、Python和R的Shell操作实验环境Linux Ubuntu 16.04前提条件：Java 运行环境部署完成R语言运行环境部署完成Spark Local模式部署完成上述前提条件，我们已经为你准备就绪了。实验内容在上述前提条件下，完成Spark中Scala、Python和R的Shell操作实验步骤1.点击"命令行终端"，打开新窗口2.启动Scala的ShellScala是Spark默认的语言，在命令行终端中输入下面的命令即可启动Scala Shell
2020-11-26 11:17:17
928
原创 Visual Studio 2019安装及使用
一 ，下载安装包选择visual studio 2019的community版本二，运行如图：此过程较慢，需等待！如果是用来学C\C++的话，选择以下两个即可！可修改安装位置：等待安装成功！三，使用3.1创建一个工程...
2020-11-23 11:58:44
1183
原创 Pycharm新建文档添加及背景图片设置
1.新建自动添加选择：File->Settings->Editor->Code Style->File and code Templates->选择右侧Python Scripts添加代码：# -*- coding:utf-8 -*-"""@Project: ${PROJECT_NAME} @Author: ${YOU_NAME} @File: ${NAME}.py@IDE: ${PRODUCT_NAME}@Time: ${YEAR}-${MONTH}-$
2020-11-22 11:41:40
2985
原创 VScode配置 C / C++ 环境
主要流程：下载VScode，DEV_C++分别安装VScode，DEV_C++3.因为DEV自导MinGW，找到DEV里面gcc所在目录，配置gcc环境变量打开VScode下载cpptools工具使用简单的.cpp文件配置C++环境运行1. 下载VScode2. 安装3.配环境变量系统环境变量pathD:\Dev-Cpp\MinGW64\bin验证配置是否成功win+R打开cmd输入gcc -v4. 打开VScode下载cpptools工具
2020-11-18 12:34:25
348
原创 机器学习——【2】史上最全“特征工程“介绍
2.1 数据集2.1.1 可用数据集Kaggle网址：https://www.kaggle.com/datasetsUCI数据集网址： http://archive.ics.uci.edu/ml/scikit-learn网址：http://scikit-learn.org/stable/datasets/index.html#datasets（1）Scikit-learn工具介绍Python语言的机器学习工具Scikit-learn包括许多知名的机器学习算法的实现Scikit-learn
2020-10-23 21:42:38
1753
7
原创 Python基础系列——（4）列表详解
目标：列表的应用场景列表的格式列表的常用操作列表的循环遍历列表的嵌套使用1 列表的应用场景思考1：有一个人的姓名（TOM）怎么书写存储程序？答：变量思考2：如果一个班级100人，每个人的姓名都要存储，如何书写程序？声明100个变量吗？答：列表即可，列表一次性可以存储多个数据。2 列表的格式# [数据1,数据2,数据3,.....]# 列表可以一次性存储多个数据，且可以为不同数据类型3 列表的常用操作下标：name_list = ['tom', 'li', 'rose']
2020-10-23 20:46:40
276
原创 Python基础系列——（3）字符串详细介绍
目标： 认识字符串 下标 切片 常用操作方法1 认识字符串字符串是Python中最常用的数据类型，我们一般使用引号来创建字符串。创建字符串很简单，只要为其分配一个变量即可。例如：a = 'hello world'b = "abcdefg"print(type(a))print(type(b))1.1字符串特征# 一对引号字符串name1 = 'Tom'name2 = 'Rose'# 三引号字符串name3 = '''Tom'''name4 = """Rose"
2020-10-23 20:29:00
441
原创 机器学习——【1】概述篇
机器学习——【1】概述篇1.1 机器学习与人工智能，深度学习1.1.1 机器学习和人工智能，深度学习的关系机器学习是人工智能的一个实现途径深度学习是机器学习的一个方法发展而来1.1.2 机器学习、深度学习能做些什么机器学习的应用场景非常多，可以说渗透到了各个行业领域当中。医疗、航空、教育、物流、电商等等领域的各种场景。用在挖掘、预测领域：应用场景：店铺销量预测、量化投资、广告推荐、企业客户分类、SQL语句安全检测分类…用在图像领域：应用场景：街道交通标志检测、人脸识别等
2020-10-20 21:27:25
311
1
原创 机器学习——【3】分类算法：KNN（K近邻）算法
机器学习——【3】KNN算法理论1. 从案例中说起一个有关电影分类的例子：这是一个根据打斗次数和接吻次数作为特征来进行类型的分类。最后一条的记录就是待分类的数据。KNN这个分类过程比较简单的一个原因是它不需要创建模型，也不需要进行训练，并且非常容易理解。把例子中打斗次数和接吻次数看成是x轴和y轴，那么就很容易能建立一个二维坐标，每条记录都是坐标中的点。对于未知点来说，寻找其最近的几个点，哪种分类数较多，未知点就属于哪一类。2. 算法说明KNN算法的思路是: 如果一个样本在特征空间中的 k 个最
2020-10-20 21:17:17
4245
5
原创 Python基础系列——（2）基础易忘知识点小结
1，数据类型2，转义字符: \n—换行；\t—制表符，一个tab键（4个空格）的距离。3，为什么两个print会换行输出？ print （‘输出的内容’，end=“\n”） 在Python中，print（），默认自带end=“\n”，这个换行结束符，所以导致每两个print直接会换行展示，用户可根据需求更改结束符。4，小结 （1）格式化符号： %s—格式化输出字符串 %d—格式化输出整数 %f----格式化输出浮点数 （2）f-字符串
2020-10-06 21:30:13
169
原创 考研——史上计算机类最全辅导书推荐
一、政治1政治辅导书的选择书名 作者 推荐率《考研政治命题人终极预测 4 套卷》 肖秀荣 16.8%《考研政治命题人 1000 题》 肖秀荣 14.1%《考研政治命题人冲刺 8 套卷》 肖秀荣 13.6%《教育部的研究生考试大纲解析》 教育部考试中心 8.6%《考研政治命题人知识点精讲精练》 肖秀荣 6.5%《考研政治命题人知识点提要》 肖秀荣 6.5%《政治命题人形势与政策》 肖秀荣 6.5%风中劲草辅导书系列 风中劲草 6.5%《政治命题人考点预测》 肖秀荣 6.1%《任汝芬最
2020-10-03 22:56:07
1269
原创 大数据平台——HBase安装配置
HBase安装1.环境变量配置将安装包上传至CentOS中，解压安装包到hadoop目录下tar -zxvf hbase-1.6.0-bin.tar.gz -C /usr/hadoop配置环境变量vi /etc/profile在末尾添加以下代码，保存退出export HBASE_HOME=/usr/hadoop/hbase-1.6.0export PATH=$HBASE_HOME/bin:$PATH生效配置source /etc/profile验证hbase version
2020-10-03 22:37:51
267
原创 大数据平台——sqoop的安装与配置
Sqoop安装安装前提是已经具备Java和Hadoop的环境一，安装1.下载并解压1）下载地址：http：//mirrors.hust.edu.cn/apache/sqoop/1.4.6/2)解压安装包tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2.修改配置文件Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录。1）切换到sqoop，，，下面的conf，改个sqoop-env.sh名字mv sqoop
2020-10-03 22:35:41
875
原创 大数据平台——flume开发
Flume1. Flume产生背景1.1 问题的产生HDFS、MapReduce、HBase 数据都是老板给你的你在工作中需要代码处理一个业务，老板只会提需求，你首要知道数据类型 数据长什么样子。订单数据、用户数据、商品数据都是存储在mysql中，效率高，是因为select*from goods where name like %s%某个商品男的看到多,还是女的看的多，数据库里面没有！也就是说数据库会存储数据，但有些业务也没有数据！所以我们要收集数据！1.2 收集数据数据来源：文件
2020-10-03 22:26:45
480
2
原创 Spark系列——运行模式（三）Yarn模式配置（详解）
yarn模式00_介绍Spark客户端直接连接Yarn，不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。yarn-cluster：Driver程序运行在由RM（ResourceManager）启动的AP（APPMaster）适用于生产环境。Yarn运行模式如图：01_配置1.1，修改hadoop的配置文件 yar
2020-10-03 16:59:11
3814
原创 Spark系列——运行模式（二）standalone模式及其历史服务，HA的配置（详解）
二，standalone模式已经安装好java（java1.8.0_241)已经安装好hadoop（hadoop2.10.0）2.1复制spark，并命名为spark-standalonecp -r spark-2.4.0-bin-hadoop2.7 spark-startalone2.2进入conf，配置spark-env.sh，确定mastercd conffor i in .template; do mv ${i} ${i%.}; donevi spark-env.shSPARK_
2020-10-03 16:33:35
536
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人