qq_52772669的博客

原创 mysql(8.0及以上版本)管理用户命令总结

主机ip地址如果设置成localhost，那就只有本地能够登录这个用户 ，如果设置成%的话，任意主机都可以连接此用户。

原创 scrapy爬取到的数据为空

网上说是【allowed_domains】需要补全，所以尝试了把【start_urls】的内容复制给了【allowed_domains】，最终尝试了发现是头信息里的cookie没有设置，scrapy默认用了它内部设置的头信息。使用scrapy爬取58同城的数据，发现xpath路径正确，第一次运行确实可以输出数据，但是第二次运行后却返回了一个空列表，代码如下。3.设置headers,添加cookie,以及UA，如果有referer的话也添加进去。又因为第一次运行时能够输出内容，因此排除了xpath路径问题。

原创 爬虫中常用到的库和方法总结

urllib和requests在使用过程中常使用的一些方法和数据类型的总结

原创 大数据集群常用端口号

历史服务器网页端口号19888,集群内部端口号是10020。yarn的ResourceManager网页端8088。namenode 网页端口号9870。namenode内部端口号 8020。

原创 Hyper-V导致虚拟机出现故障解决方法

Hyper-V导致虚拟机故障解决方法

原创 HQL-优化方法

hql优化方法

原创 java-快速实现不同进制之间的转换

java中进制转换

原创 rdd算子分类

原创 RDD的持久化存储方法

RDD持久化存储三种方法的区别

原创 spark学习-如何判断方法是在Driver端还是在Executor端执行

spark如何判断是在Driver端执行还是在Exector端执行

原创 spark学习-rdd算子

rdd算子的总结

原创 hive的去重的方法总结

原始数据用户id是102的有多个下单日期根据需求，需要进行去重。distinct会对他后面所有的字段进行一个去重。如果distinct放在两个字段中间会报错。3.利用排行窗口函数 row_number。1.利用关键字distinct。2.利用group by去重。

原创 hive设置本地模式插入数据时产生的错误

新版本的Hive启动的时候，默认申请的JVM堆内存大小为256M，JVM堆内存申请的太小，导致后期开启本地模式，执行复杂的SQL时经常会报错。（1）修改$HIVE_HOME/conf下的hive-env.sh.template为hive-env.sh。（2）将hive-env.sh其中的参数 export HADOOP_HEAPSIZE修改为2048，因此最好提前调整一下HADOOP_HEAPSIZE这个参数。

原创 linux常用命令

添加用户目录添加到指定目录 useradd -d 路径 name。删除用户，但不删除/home下的主目录 userdel name。删除用户的同时删除用户主目录 userdel -r name。用户创建之后默认就在自己gid标识的组。usermode -g 新组 旧组。添加用户 useradd name。

原创 窗口函数-lead，lag

这两个窗口函数是为了获取当前行，上面或者下面某行中某个字段的值。

原创 HDFS读写数据流程

1.客户端通过Distributed FileSystem模块向集群中的namenode发送请求上传数据2.namenode检查客户端是否有创建目录权限，以及要创建的目录是否已经存在，如果满足条件，namenode向客户端发出响应可以上传文件3.客户端上传block，请求集群给出datanode4.集群返回若干datanode。5.客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。

原创 HDFS的shell命令

hdfs的shell命令可以hadoop fs开头也可以是hdfs dfs开头。

原创 numpy学习记录

ndarray是一个多维数组对象由两部分构成1.包含实际的数据2.包含描述这些数据的元数据（数据维度、数据类型等）ndarray数组一般要求所有元素类型相同（同质），数组下标从0开始ndarray是n维数组对象包含两部分：1.数据部分2.包含数据的元数据信息。

原创 计算机网络-传输层

传输层是主机才有的层次，主机和主机之间的网络设备最高只到网络层功能：1.实现进程与进程之间的逻辑通信2.复用和分用：复用：就是两个进程所发送的报文段，使用同一个传输层协议传送到网络层。分用：把收到的报文段交付给特定的进程，qq消息交给qq,微信消息交给微信。3.传输层对收到的报文进行差错检验，收到的报文就是网络层传输报文的数据部分。

原创 requests库使用学习

如果使用response.text的话会报错，因为r.text是按照字符串形式返回会导致保存图片出错，然而r.content是按照二进制形式返回的。可以先在浏览器随意搜索一个词，查看字典内的key值是什么。如果响应的内容打印出现乱码，可以使。

原创 MapReduce学习总结

优点缺点。

原创 xshell远程连接阿里云服务器遇到的问题

5.查看ssh服务状态显示: error: Bind to port 22 on 0.0.0.0 failed: Address already in use.无法解决，只好再重新开启一个ssh的端口 :2023 ，并且在阿里云安全组中添加2023端口。1.首先在自己的命令行窗口ping + 服务器公网ip查看是否连通。4.使用阿里云通过Workbench远程连接,在终端开启ssh服务。点击安全组 -> 配置规则 ->点击手动配置->配置指定端口。在安全组内如果没有开启的话会导致无法连接。

原创 hive中sql操作

comment:是对数据库的注释，是字符串location: 设置数据库在hdfs中的路径 ，默认路径是 /user/hive/warehouse/数据库名.db,指定路径使用单引号。with dbproperties 给数据库设置一些键值。

原创 虚拟机中的网络模式

在虚拟机中进行网络连接测试，查看虚拟机是否和主机连接在虚拟机中使用主机ip可以在命令行窗口输入ipconfig查看主机ip地址在虚拟机终端查看是否能够ping通。

原创 vim操作

一般模式：在终端输入进入一般模式，在一般模式只能进行。编辑模式：点击a,i,o中的任意键进入编辑模式。命令模式：在一般模式输入“ ：”进入命令模式。

原创 centos下载镜像文件

如果电脑是win10系统的话就选择x86版本，点击进入如图界面。3.点击任意一个镜像源，选择以iso结尾的文件下载。2.根据系统选择合适的版本。1.进入centos官网。

原创 Idea内的如何使用debug

在程序左侧，可以点击鼠标左键设置断点，如图所示。

原创 java中的进程和线程

1.进程1.进程在java中每运行一个程序就会产生一个进程进程的名字就是程序名称。使用while循环使程序能够不断运行。使用javac 编译java程序使用java 命令执行java程序不关闭程序执行界面，再次打开一个命令行窗口使用jps命令查看正在运行的进程。

原创 android-SharedPreferences的使用步骤

sharedpreferences的使用

原创 java中把数组中的元素转变成字符串

整形数组转变成字符串

原创 ssh连接出现的问题

ssh免密登录其他节点产生错误解决方法

原创 大数据处理架构Hadoop

目录什么是hadoop呢？从课本中了解到是一个开源分布式计算平台 ，为用户提供分布式基础架构，可以想象hadoop是一座戏台供各式各样的角色（各种功能组件）发挥作用，hadoop和它的各种功能组件的作用是用来存储和处理海量数据。hadoop有五大重要特性hadoop有1.x版，2.x版，3.x版 其中1.x和2.x最大的不同是 在1.x时处理数据和分配资源是由mapreduce独自完成的，而2.x版将调度资源的功能分配给了yarn，mapreduce只负责数据处理。HDFS分布式文件管理系统是hadoop