自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(53)
  • 资源 (1)
  • 收藏
  • 关注

原创 Excel xlsx file:not supported

降低xlrd版本或Excel版本。Excel和xlrd版本不匹配。

2024-03-15 23:23:14 928

原创 ile “D:\tools\python\Lib\site-packages\pip\_internal\cli\base_command.py“, line 180, in exc_loggin

python安装module报错

2024-03-15 23:17:10 413

原创 python中列表常用函数

【代码】python中列表常用函数。

2024-03-14 23:50:33 557

原创 pycharm交互式编程 python console

输入ipython进入ipython交互式编程。(3)IPython的安装和使用。(2)Python的交互式编程。

2024-02-23 09:17:49 821

原创 pycharm没有setuptools包、wheel包的解决措施(pycharm添加包的两种方式)

同理安装其他包如:wheel。运行如以下界面显示即可。

2024-02-22 15:48:06 1234

原创 notepad++运行python闪一下就没啦

【代码】notepad++运行python闪一下就没啦。

2024-02-18 14:59:29 1463

原创 Markdown编辑器官方说明

你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:撤销:Ctrl/Command + Z重做:Ctrl/Command + Y加粗:Ctrl/Command + B斜体:Ctrl/Command + I标题:Ctrl/Command + S

2024-01-18 16:07:15 777

原创 CSDN如何使用markdown

【代码】CSDN如何使用markdown。

2024-01-18 11:44:12 409

原创 g++ -v 若显示g++不是内部或外部命令`

此次安装在默认路径下,直接傻瓜式安装。

2023-06-17 21:25:17 1405

原创 矩阵各行元素之和

题目。

2023-05-14 11:09:57 1219

原创 C语言结构体成绩排名

要求按照排名从高到低输出考生信息,包括名次 id 成绩 分数不同,按分数为序,即score大的在前,小的在后 分数相同,以id为序,即id小的在前,大的在后。:看成绩相同是否排名相同 成绩不同排名在第几就是第几。

2023-05-13 17:19:16 1138

原创 直接插入排序法

【代码】直接插入排序法。

2023-05-12 11:53:31 71

转载 C语言-直接插入排序算法

本文链接:https://blog.csdn.net/weixin_63246064/article/details/122050587。

2023-05-12 10:25:37 53

原创 C语言选择排序-直接选择排序法

【代码】C语言选择排序-直接选择排序法。

2023-05-11 18:02:05 172

原创 C语言-最大公约数和最小公倍数

【代码】C语言-最大公约数和最小公倍数。

2023-05-11 13:55:42 113

原创 C语言判断素数

【代码】C语言判断素数。

2023-05-08 17:57:19 238

原创 dev c++ 乱码问题 汉字注释不显示问题

【代码】dev c++ 乱码问题 汉字注释不显示问题。

2023-05-08 16:47:02 1951 1

原创 Dev-C++5.16安装包下载

喜欢英文来英文的~

2023-04-22 12:29:25 1974 3

原创 Spark on Yarn 查看日志及状态的命令

1、查看某个job的日志yarn logs -applicationId application_1515118561637_04392、查看某个job的状态yarn application -status application_1515118561637_04393、kill掉某个job(直接在UI界面或者是终端kill掉任务都是不对的,该任务可能还会继续执行下去,所以要用如下命令才算完全停止该job的执行)yarn application -kill application_15151185

2021-03-01 14:05:52 375

转载 Hive笔记之collect_list/collect_set(列转行)

原文出自:https://www.cnblogs.com/cc11001100/p/9043946.htmlHive中collect相关的函数有collect_list和collect_set。它们都是将分组中的某列转为一个数组返回,不同的是collect_list不去重而collect_set去重。做简单的实验加深理解,创建一张实验用表,存放用户每天点播视频的记录:12345create table t_visit_video (username string,video_name

2020-12-16 16:56:13 242

原创 Hive的Explain命令 (执行计划命令)

Hive的Explain命令,用于显示SQL查询的执行计划。Hive查询被转化成序列阶段(这是一个有向无环图)。这些阶段可能是mapper/reducer阶段,或者是Metastore或文件系统的操作,如移动和重命名的阶段。例子 hive> explain [extended] --加上关键字extended,则显示抽象语法树 > select * from student > cluster by age;1.查询的抽象语法树(

2020-11-07 10:18:23 542

原创 java.io.IOException: Connection reset by peer

Caused by: java.nio.channels.ClosedChannelExceptionjava.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) at sun.nio.ch.IOUtil.readIntoNativeBuff

2020-11-07 10:12:18 52886 1

原创 Linux编辑文件命令

1.进入文件 vim 文件名(vim test.txt)2.编辑完成之后,按ESC键 跳到命令模式(命令前面冒号是必要的)::w 保存文件但不退出vi:w file 将修改另外保存到file中,不退出vi:w! 强制保存,不推出vi:wq 保存文件并退出vi:wq! 强制保存文件,并退出vi:q 不保存文件,退出vi:q! 不保存文件,强制退出vi:e! 放弃所有修改,从上次保存文件开始再编辑...

2020-10-27 09:44:34 156

原创 left join和left semi join的联系和区别

**转载:left join和left semi join的联系和区别**1、联系他们都是 hive join 方式的一种,join on 属于 common join(shuffle join/reduce join),而 left semi join 则属于 map join(broadcast join)的一种变体,从名字可以看出他们的实现原理有差异。2、区别(1)Semi Join,也叫半连接,是从分布式数据库中借鉴过来的方法。它的产生动机是:对于reduce side join,跨

2020-10-26 13:47:34 1538

原创 在spark 中获取时间

在spark 中获取时间用到java.util.{Calendar,Date} 以及java.text.SimpleDateFormat来对时间输出格式作规范首先先导入包import java.text.SimpleDateFormatimport java.util.{Calendar, Date}获取当前时间def getNowTime(): String = {//实例化一个Date对象并且获取时间戳val time = new Date().getTime//设置时间格式val f

2020-10-14 16:04:27 1836

原创 齐治堡垒机

一、基本信息参考:https://www.cnvd.org.cn/flaw/show/1559039补丁信息:该漏洞的修复补丁已于2019年4月1日发布。如果客户尚未修复该补丁,可联系齐治科技的技术支持人员获得具体帮助。二、漏洞挖掘过程这是我第一次接触运维堡垒机,通过堡垒机登录目标服务器/应用,就像在本地直接打开一样,觉得很神奇。1、挖掘过程首先,在安装齐治运维堡垒机客户端软件ShtermClient后,会在计算机上注册一个伪协议“shterm”。堡垒机正是通过该协议,调用本地程序打开了连接到堡

2020-10-14 09:25:20 8679

原创 Spark-SQL 内置函数之时间日期类

转载请注明转自:http://www.cnblogs.com/feiyumo/p/8760846.html一、获取当前时间1.current_date获取当前日期2018-04-092.current_timestamp/now()获取当前时间2018-04-09 15:20:49.247二、从日期时间中提取字段1.year,month,day/dayofmonth,hour,minute,secondExamples:SELECT day(‘2009-07-30’);302.day

2020-10-13 17:34:46 408

原创 hive表结构信息

转自网友的,主要是自己备份下 有时候不记得!问题导读:1.如何查看hive表结构?2.如何查看表结构信息?3.如何查看分区信息?4.哪个命令可以模糊搜索表1.hive模糊搜索表show tables like ‘name’;2.查看表结构信息desc formatted table_name;desc table_name;3.查看分区信息show partitions table_name;4.根据分区查询数据select table_coulm from table_name

2020-07-22 16:42:16 348

原创 自定义udf函数的使用

自定义udf函数的使用新建df1 和 df2 两个数据源,指定数据源的中的列名和列的类型。用相同列“chanel_id”做关联,进行join outer查询, 在select取值的时候,用自定义的udf函数(get_channel_id),取两个表中不为空的“channel_id”作为结果集的数据。用fillna 替换结果集中的null值from pyspark.sql.functions import udfdf1 = spark.createDataFrame([(‘baidu’, 1001),

2020-07-01 17:06:03 730

原创 substr函数或者substring函数。

开发中,经常进行模糊查询或者进行截取字符串进行模糊匹配,常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数返回值: string说明:返回字符串A从start位置到结尾的字符串举例演示:hive> select substr(‘abcde’,3) fromlxw_dual;cdehive> select substring(‘a

2020-07-01 16:23:17 1589

原创 spark sql substr函数

开发中,经常进行模糊查询或者进行截取字符串进行模糊匹配,常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数 返回值: string 说明:返回字符串A从start位置到结尾的字符串123举例演示:spark.sql(“select substring(‘abcdeffff’,3) from data1”).sh

2020-07-01 16:11:52 2677

原创 Hive substr 函数截取字符串

开发中,经常进行模糊查询或者进行截取字符串进行模糊匹配,常用的就是substr函数或者substring函数。使用语法: substr(string A, int start),substring(string A, int start) 两者用法一样,两个参数 返回值: string 说明:返回字符串A从start位置到结尾的字符串举例: hive> select substr('abcde',3) fromlxw_dual;

2020-07-01 16:09:32 3912

原创 字符串处理func_split,func_split_TotalLength

CREATE FUNCTION func_split(f_string text character set utf8 ,f_delimiter varchar(5),f_order int)RETURNS varchar(9999)BEGINDECLARE result VARCHAR(9999) character set utf8 default ‘’;set result=REVERSE(SUBSTRING_INDEX(REVERSE(SUBSTRING_INDEX(f_string,f_

2020-07-01 16:08:02 468 2

原创 Error contacting service. It is probably not running.报错解决

nohup: 无法运行命令"/usr/bin/java": 没有那个文件或目录./zkServer.sh start2jps没有QuorumPeerMain进程./zkServer.sh statusJMX enabled by defaultUsing config: /home/wdz/hadoopProperties/zookeeper-3.4.6/bin/../conf...

2020-05-13 07:16:29 1014

原创 start-yarn.sh启动不了

所有启动脚本都在nn节点上,start-dfs.sh 启动,错误如下:解决:错误显示:hadoop103上没有/opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh这个目录去检查发现,没有sbin这个目录原因:分发的时候,没有分发hadoop-2.7.2目录重新分发hadoop-2.7.2目录即可...

2020-05-13 07:16:16 2534

原创 replication factor:2 larger than available bokers:1(两个副本只有一个节点)

错误信息:A broker is already registered on the path /brokers/ids/0. `This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker an...

2020-05-13 07:16:03 734

原创 卸载mysql

a卸载安装的MySQL*** 注意:一定要卸载干净相关的文件①[atguigu@hadoop103 mysql-libs]$ sudo find / -name mysql/opt/software/mysql/usr/bin/mysql/usr/share/mysql/usr/lib64/mysql/var/lock/subsys/mysql/var/lib/mysql/...

2020-05-13 07:15:40 210

原创 ERROR! MySQL server PID file could not be found!

sudo service mysql stop ERROR! MySQL server PID file could not be found!sudo service mysql status ERROR! MySQL is running but PID file could not be found解决:1.正常按顺序关闭集群进程2.重启该节点的虚拟机3.sudo ser...

2020-05-13 07:15:23 525

原创 Flume日志采集步骤

**Flume日志采集步骤**①配置jobs/taildir_kafka.conf文件②写拦截器代码,导入jar包到flume的lib下③分发flume④kafka创建topic_starttopic_event⑤flume生成数据⑥第5步骤会将生成的数据写进kafka中,消费一下测试是否成功...

2020-05-13 07:15:06 1135

原创 Keepalived服务开机自启命令

**所有开机自启的服务命令:**[atguigu@hadoop102 mysql-libs]$ sudo chkconfig --list[atguigu@hadoop102 mysql-libs]$ sudo chkconfig --list | grep keepalived设置Keepalived服务开机自启sudo chkconfig keepalived on...

2020-05-13 07:14:36 1210

maven依赖管理 继承管理

Maven就可以替我们自动的将当前jar包所依赖的其他所有jar包全部导入进来,无需人工参与,节约了我们大量的时间和精力。用实际例子来说明就是:通过Maven导入commons-fileupload-1.3.jar后,commons-io-2.0.1.jar会被自动导入,程序员不必了解这个依赖关系。

2019-12-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除