笑出弧度的程序员-CSDN博客

原创 ubuntu-21.04安装docker

疑问有一个新需求，需要安装docker，然后我就重新搭建了虚拟机，系统环境为ubuntu-21.04。然后我安装官网的操作，在我的虚拟机里面操作，结果这个新环境，怎么装也装不上docker.然后我就以为可能是ubuntu20.04直接就支持docker，我就直接查看docker版本，结果提示没有找到但是我看到后面的but，我就很疑惑的试了试这个语句sudo snap install docker。结果docker 竟然装上了！！！！！探究为什么会...

2021-08-31 11:14:59 1289 2

原创大数据的由来

大数据概念的的兴起也就是最近不到10年的时间，我们在了解了数据的几个基本概念之后，我们再来看一下大数据出现的背景。数据量大。什么是数据？狭义上讲数据就是数值，也就是我们通过观察、实验或计算得出的结果；从广义上讲，数据的含义更加广阔，也可以是文字、图像、声音等。当前我们所说的数据一般是指广义上的数据。初识大数据什么是大数据？大数据的特点是什么？大数据与传统数据之间有什么关系？大数据与我们有什么关系？尽管许多书籍直接解释了大数据的概念和特征，但根据个人经验，如果我们首先了解数据的概念和特征，那么对我..

2020-09-30 20:23:25 3530

原创 Pycharm中设置使用conda的虚拟环境

转载【Python】Pycharm中设置使用conda的虚拟环境（保姆级图文）_pycharm conda路径-CSDN博客

2024-04-12 11:16:51 315

原创 Windows下载安装Redis

一、下载先去Releases · microsoftarchive/redis · GitHub下载二、安装点击next勾选我同意，点击next选择你要安装的路径，勾选框是将启动目录加到path目录中没有勾选，可以自己在环境变量path中配置，后面直接默认安装运行的端口，可以默认默认点击三、验证打开命令行输入redis-server -v可以看到安装完成和版本号...

2021-10-18 14:09:46 111

原创 mybatis 使用模糊查询遇到的问题和解决方案

需求需要模糊查询select * from x_device where name LIKE "%15%" and is_delete=0遇到的问题报错解决方案方式一 name传值的时候直接赋值 %15%方式二编写配置文件方式三使用$总结#{ }是预编译处理，MyBatis在处理#{ }时，它会将sql中的#{ }替换为？，然后调用PreparedStat...

2021-10-15 16:54:07 364

原创 Hive综合案例实战

一、数据源的准备工作首先我们去一个网站下载相关的数据,之后通过hive导入进行实验.http://grouplens.org/二、内部表创建内部表并载入数据 hadoop@hadoopmaster:~$ beeline-u jdbc:hive2://hadoopmaster:10000/ Beelineversion2.1.0byApacheHive 0:jdbc:hive2://hadoopmaster:10000/> show databases;

2020-10-25 19:19:50 1157

原创 Hive的模式设计

一概述Hive看上去以及实际行为都像一个关系型数据库.用户对如表和列这类术语比较熟悉,而且Hive提供的查询语言和用户之前使用过的SQL方言非常相似.不过Hive实现和使用的方式和传统的关系型数据库是非常不同的.通常,用户视图移植关系型数据库中的模式,而事实上Hive是反模式1 、按天划分的表按天划分表就是一种模式,其通常会在表中加入一个时间戳,例如表名为upply_2011_01_01等等.这种每天一张表的方式在数据库领域是反模式的一种方式,但是因为实际情况下数据集增长得很快,这种方式应..

2020-10-22 23:26:11 216

原创 Hive的数据类型、文件格式、存储架构和HQL语法

Hive 数据类型和文件格式一概述Hive支持关系型数据库中的大多数基本数据类型,同时也支持关系型数据库中很少出现的3种集合数据类型.1、基本数据类型Hive支持多种不同长度的整型和浮点型数据类型,支持布尔类型,也支持无长度限制的字符串类型.数据类型长度例子 TINYINT 1byte 有符号整数 20 SMALLINT 2byte 有符号整数 20 INT 4byte 有符号整数 20 BIGINT 8by..

2020-10-21 23:01:52 574 2

原创 Hive的基本使用与导入导出数据

Hive的数据导入导出从本地文件系统中导入数据到Hive表；从HDFS上导入数据到Hive表；从别的表中查询出相应的数据并导入到Hive表中；在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 1、从本地文件系统中导入数据到Hive表先在Hive里面创建好表如下： hive>create table wyp(idint,namestring,ageint,telstring)ROW FORMAT DELIMITED FIEL..

2020-10-20 23:01:42 443

原创 Hive数据库 1.1.1的安装

Hive的安装-MySQL作为元数据库安装JDK-之前的文章介绍过安装Hadoop-之前的文章介绍过安装Mysql-之前的文章介绍过 1、建立Hive数据库,用户,赋予权限 #mysql虚拟机的默认密码,在我做试验的时候是123456 #mysql -u root -p mysql>grant all privileges on*.*to hive@"%"identifiedby"hive"withgrant option; ..

2020-10-19 21:51:37 463

原创 Hadoop一般的程序员怎么用虚拟机搭建CDH的全分布模式？

建立Linux虚拟机(全节点)客户机操作系统：rhel-server-6.5-x86_64。网络连接：NAT模式。Connecet automaticcally：打勾。不会随宿主机网段变化发生IP变化。cdhmaster 192.168.200.100 255.255.255.0 192.168.200.2 cdhslave1 192.168.200.101 255.255.255.0 192.168.200.2安装类型：Minimal关闭防火墙和SELINUX(全节点)#...

2020-10-12 21:44:57 197

原创 hadoop技术一般的程序员怎么用虚拟机搭建Hadoop的全分布模式

建立Linux虚拟机(全节点)客户机操作系统：CentOS-6.5-x86_64。网络连接：host-only。Connecet automaticcally：打勾。hadoopmaster 192.168.169.100 255.255.255.0hadoopslave1 192.168.169.101 255.255.255.0hadoopslave2 192.168.169.102 255.255.255.0安装类型：Minimal关闭防火墙和SELINUX(全节点)..

2020-10-11 20:47:52 195

原创 Hadoop（1）_阿里云搭建Hadoop2.x的伪分布式环境

环境：阿里云服务器 CentOS 7 x86_64安装介质：jdk-7u75-linux-i586.tar.gz，hadoop-2.4.1.tar.gz安装jdktar -zxvf jdk-7u75-linux-i586.tar.gz配置环境变量：# vi .bash_profileJAVA_HOME=/root/training/jdk1.7.0_75export JAVA_HOMEPATH=$JAVA_HOME/bin:$PATHexport PATH# sou...

2020-10-09 19:56:09 100

原创 Hadoop伪分布式安装(大数据非常基础的实战)

下载地址：http://hadoop.apache.org/releases.html下载2.X版本Hadoop的安装分为单机方式、伪分布式方式和完全分布式方式单机模式单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发...

2020-10-06 20:44:13 284

原创 hadoop管理员的十个推荐，总结、总结和总结

我已经与Hadoop联系了两年，在此期间遇到了很多问题，包括经典的NameNode和JobTracker内存溢出故障，HDFS存储小文件问题，任务调度问题以及MapReduce性能问题。遇到这些问题。有些是Hadoop自身的缺点（短板），有些则使用不当。在解决问题的过程中，有时需要仔细阅读源代码，有时需要向同事和网民寻求建议，遇到复杂问题时，他们将向全球的Hadoop用户（包括Hadoop Committer（Hadoop开发人员））寻求帮助。通过邮件列表提供帮助。在得到很多人的帮助之后，我将把遇到的问..

2020-10-05 22:43:14 172

原创粤飞的hadoop集群搭建

一、环境说明环境：阿里云服务器 CentOS 7 x86_64安装介质：jdk-7u75-linux-i586.tar.gz，hadoop-2.4.1.tar.gz安装jdktar -zxvf jdk-7u75-linux-i586.tar.gz配置环境变量：# vi .bash_profileJAVA_HOME=/root/training/jdk1.7.0_75export JAVA_HOMEPATH=$JAVA_HOME/bin:$PATHexport PATH# ...

2020-10-01 09:56:58 216

原创聊一聊Spring，SpringMVC，SpringBoot，SpringCloud有什么区别和联系？

Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架。Spring使你能够编写更干净、更可管理、并且更易于测试的代码。Spring MVC是Spring的一个模块，一个web框架。通过Dispatcher Servlet, ModelAndView 和 View Resolver，开发web应用变得很容易。主要针对的是网站应用程序或者服务开发——URL路由、Session、模板引擎、静态Web资源等等。Spring配置复杂，繁琐，所以推出了Spring boot，约定优于配置，

2020-07-08 20:03:23 205

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

笑出弧度的程序员的博客