weixin_43589396的博客

原创 golang的一些概念&golang本地导包

golang

原创 python中re库主要功能函数（正则表达）

函数说明re.search()在一个字符串中搜索匹配正则表达式的第一个位置，返回match对象re.match()从一个字符串的开始位置起匹配正则表达式，返回match对象re.findall()搜索字符串，以列表类型返回全部能匹配的子串re.split()将一个字符串按照正则表达式匹配结果进行分割，返回列表类型re.finditer()搜索字符串，返回一个匹配结构的迭代类型，每个迭代元素是match对象re.sub()在一个字符串中替换所有匹配...

原创 python程序打包

windows+r输入cmd进入命令安装第三方模块打包打包后的文件 存储在C:\User…下

原创 python中os模块操作目录相关函数

os模块操作目录相关函数方法名getcwd()返回当前的工作目录listdir()返回指定路径下的文件和目录信息mkdir(path,[mode])创建目录makedirs(path1/path2…)创建多级目录rmdir(path)删除目录removedirs(path1/path2/.)删除多级目录chdir(path)将path设置为当前工作目录 ‘’‘system函数可以将字符串转化成命令在服务器上运行；’’’

原创 python中 文件对象的常用方法

方法名说明read( [size] )从文件中读取size个字节或字符的内容返回。若省略[size],则读取到文件末尾,即一次读取文件所有内容readline()从文本文件中读取一行内容readlines()把文本文件中每一行都作为独立的字符串对象，并将这些对象放入列表返回write( str )把字符串str内容写入文件writelines(s_list)将字符串列表s_list写入文本文件，不添加换行符seek( offset,[whence]...

原创 Python中模块与包的关系

原创 spark中会导致shuffle操作的有以下几种算子

1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等3、join类的操作：比如join、cogroup等

原创 linux中grep的使用及常用参数

grep常用参数：-e :使用正则-i：忽略大小写-v：查找不包括指定内容的行-w：按单词查找-c：统计匹配次数-n：显示行号-r：递归遍历目录查找-A：显示匹配行前面多少行-B：显示匹配行后面多少行-C：显示匹配行前后多少行-include：指定匹配的文件类型-exclude:过滤不需要匹配的文件类型常用例子：多文件查询jieni：grep jieni pika.log zhongzi.log查找包含jieni又包含gui的行：grep jieni pika.log | gr

原创 linux面试题目

1. Linux下的进程有哪三种状态？运行态，就绪态和等待态2. linux修改路由的命令routeroute：route命令是在本地 IP 路由表中显示和修改路由。tracert：tracert（跟踪路由）是路由跟踪实用程序，用于确定 IP 数据包访问目标所采取的路径。tracert 命令用 IP 生存时间 (TTL) 字段和 ICMP 错误消息来确定从一个主机到网络上其他 主机的路由。ping：ping命令可以检查网络是否连通。netstat：netstat是控制台命令,是一个监控TCP/

原创 sql中常用语法

ALTER TABLE 表名 ADD 列名/索引/主键/外键等；ALTER TABLE 表名 DROP 列名/索引/主键/外键等；ALTER TABLE 表名 ALTER 仅用来改变某列的默认值；ALTER TABLE 表名 RENAME 列名/索引名 TO 新的列名/新索引名；ALTER TABLE 表名 RENAME TO/AS 新表名;ALTER TABLE 表名 MODIFY 列的定义但不改变列名；ALTER TABLE 表名 CHANGE 列名和定义都可以改变。...

原创 Hive常用函数

常用函数查询具体函数desc function 方法名;常用日期函数unix_timestamp:返回当前或指定时间的时间戳hive (default)> select unix_timestamp();unix_timestamp(void) is deprecated. Use current_timestamp instead.unix_timestamp(void) is deprecated. Use current_timestamp instead.OK_c01628

原创 SQL语句条件执行顺序

1.FROM2.ON3.JOIN4.WHERE5.GROUP BY6.WITH CUBE or WITH ROLLUP7.HAVING8.SELECT9.DISTINCT10.ORDER BY11.TOP

原创 hdfs、spark、hive 相关端口号及Web UI界面

sparkmaster8989（默认8080）历史服务http://CentOS01:18080 hdfs://CentOS01:8020/directorysparkhttp://CentOS01:8080/

原创 Hadoop2.x与Hadoop3.x端口变化

Namenode 端口:2.x端口3.x端口namedesc504709871dfs.namenode.https-addressThe namenode secure http server address and port.500709870dfs.namenode.http-addressThe address and the base port where the dfs namenode web ui will listen on.8020982

原创 大数据架构题库

hdfs文件写入的流程与读取的流程？HDFS集群启动的时候，运行着 ， ， 三个重要角色namenode、datanode、secondaryNamenode强制Namenode进入安全模式的命令是 hdfs dfsadmin -safemode enter分布式系统设计策略包括 ， ， 。重试机制 心跳机制 副本机制Doug Cutting所创立的项目的名称都受到其家人的启发 他创立的项目是 , , 。 Hadoop Nutch Lucene是HDFS架构中的

原创 内聚的7种类型

软件模块内部的内聚程度从高到低的顺序为：1.功能内聚：完成一个单一功能，各个部分协同工作，缺一不可。2.顺序内聚：处理元素相关，而且必须顺序执行。3.通信内聚：所有处理元素集中在一个数据结构的区域上。4.过程内聚：处理元素相关，而且必须按特定的次序执行。5.瞬时内聚(时间内聚)：所包含的任务必须在同一时间间隔内执行。6.逻辑内聚：完成逻辑上相关的一组任务。7.偶然内聚(巧合内聚)：完成一组没有关系或松散关系的任务。...

原创 Python 字典的定义、增删改查、遍历、生成式

字典(dict) { key : value }字典可变(可添加可删除)字典中的key不可重复value可以重复字典中的键值对是无序的定义符号{key:value}有点类似于java 的map定义score = {'张三': 100, '李四': 98, '王五': 88}输出整个数组print(score)'''{'张三': 100, '李四': 98, '王五': 88}'''查看元素print(score['张三']) # 100print(score.get('

原创 Java 类与集合常用方法

——————Math类——————————————public static double abs(double num) //绝对值public static double ceil(double num) //向上取整public static double floor(double num) //向下取整public static long round(double num) //四舍五入——————ArrayList类—————————————public b

原创 Collection

集合和数组的区别：1.数组的长度是固定的，集合的长度是可变的2.数组中存储的是同一类型的元素，可以存储基本数据类型值集合存储的都是对象，而且对象的类型可以不一样常用方法：见常用方法和类.txtSet接口：无序，不可重复的集合；Queue接口：队列集合；List接口：有序，可以重复的集合...

原创 balance （枚举dp）

Gigel has a strange “balance” and he wants to poise it. Actually, the device is different from any other ordinary balance.It orders two arms of negligible weight and each arm’s length is 15. Some hoo...

原创 Combination （贪心）

题目描述Ilya plays a card game by the following rules.A player has several cards. Each card contains two non-negative integers inscribed, one at the top of the card and one at the bottom. At the beginni...

原创 Approximating a Constant Range

求区间内最大值与最小值之间只相差1的区间的最大长度en Xellos was doing a practice course in university, he once had to measure the intensity of an effect that slowly approached equilibrium. A good way to determine the equilib...

原创 队列安排 （用树做）

题目描述一个学校里老师要将班上NNN个同学排成一列，同学被编号为1∼N1\sim N1∼N，他采取如下的方法：先将111号同学安排进队列，这时队列中只有他一个人；2−N2-N2−N号同学依次入列，编号为i的同学入列方式为：老师指定编号为i的同学站在编号为1∼(i−1)1\sim (i -1)1∼(i−1)中某位同学（即之前已经入列的同学）的左边或右边；从队列中去掉M(M<N)M(M&...

原创 树的遍历

前序遍历：中 左 右中序遍历：左 中 右后序遍历：左 右 中层序遍历：先上后下 先左后右

原创 最小生成树

题目描述如题，给出一个无向图，求出最小生成树，如果该图不连通，则输出orz第一行包含两个整数N、M，表示该图共有N个结点和M条无向边。（N<=5000，M<=200000）接下来M行每行包含三个整数Xi、Yi、Zi，表示有一条长度为Zi的无向边连接结点Xi、Yi输出格式：输出包含一个数，即最小生成树的各边的长度之和；如果该图不连通则输出orz输入输出样例输入样例#1：4...

原创 最长公共前后缀

字符串的前缀是指不包含最后一个字符的所有以第一个字符开头的连续子串；后缀是指不包含第一个字符的所有以最后一个字符结尾的连续子串。例如对于字符串 abacaba，其前缀有 a, ab, aba, abac, abacab，后缀有bacaba, acaba, caba, aba, ba, a。最长公共前后缀就是 aba。现给出一个长度为 N 的字符串 S，对于每个 M (0<=M<N)，求...

原创 方格填空蓝桥杯

如下的10个格子填入0〜9的数字要求：连续的两个数字不能相邻。（左右，上下，对角都算相邻）一共有多少种可能的填数方案？Input无Output在这里插入代码片...

转载 7-3 大家一起来玩游戏 （20 分)

24点是一种益智游戏，24点是把4个整数（一般是正整数）通过加减乘除以及括号运算，使最后的计算结果是24的一个数学游戏，24点可以考验人的智力和数学敏感性，它能在游戏中提高人们的心算能力。24点通常是使用扑克牌来进行游戏的，一副牌中抽去大小王后还剩下52张（如果初练也可只用1～10这40张牌），任意抽取4张牌（称为牌组），用加、减、乘、除（可加括号）把牌面上的数算成24。每张牌必须只能用一次，如...

原创 7-11 两个有序链表序列的交集 （20 分)

已知两个非降序链表序列S1与S2，设计函数构造出S1与S2的交集新链表S3。输入格式:输入分两行，分别在每行给出由若干个正整数构成的非降序序列，用−1表示序列的结尾（−1不属于这个序列）。数字用空格间隔。输出格式:在一行中输出两个输入序列的交集序列，数字间用空格分开，结尾不能有多余空格；若新链表为空，输出NULL。输入样例:1 2 5 -12 4 5 8 10 -1输出样例:2 ...

原创 7-7 电话聊天狂人 （25 分)

给定大量手机用户通话记录，找出其中通话次数最多的聊天狂人。输入格式:输入首先给出正整数N（≤10​5​​），为通话记录条数。随后N行，每行给出一条通话记录。简单起见，这里只列出拨出方和接收方的11位数字构成的手机号码，其中以空格分隔。输出格式:在一行中给出聊天狂人的手机号码及其通话次数，其间以空格分隔。如果这样的人不唯一，则输出狂人中最小的号码及其通话次数，并且附加给出并列狂人的人数。输...

原创 7-9 哥尼斯堡的“七桥问题” （25 分)

哥尼斯堡是位于普累格河上的一座城市，它包含两个岛屿及连接它们的七座桥，如下图所示。可否走过这样的七座桥，而且每桥只走过一次？瑞士数学家欧拉(Leonhard Euler，1707—1783)最终解决了这个问题，并由此创立了拓扑学。这个问题如今可以描述为判断欧拉回路是否存在的问题。欧拉回路是指不令笔离开纸面，可画过图中每条边仅一次，且可以回到起点的一条回路。现给定一个无向图，问是否存在欧拉回路？...

转载 7-6 公路村村通 （30 分)

现有村落间道路的统计数据表中，列出了有可能建设成标准公路的若干条道路的成本，求使每个村落都有公路连通所需要的最低成本。输入格式:输入数据包括城镇数目正整数N（≤1000）和候选道路数目M（≤3N）；随后的M行对应M条道路，每行给出3个正整数，分别是该条道路直接连通的两个城镇的编号以及该道路改建的预算成本。为简单起见，城镇从1到N编号。输出格式:输出村村通需要的最低成本。如果输入数据不足以保...

原创 7-10 航空公司VIP客户查询 （25 分)

不少航空公司都会提供优惠的会员服务，当某顾客飞行里程累积达到一定数量后，可以使用里程积分直接兑换奖励机票或奖励升舱等服务。现给定某航空公司全体会员的飞行记录，要求实现根据身份证号码快速查询会员里程积分的功能。输入格式:输入首先给出两个正整数N（≤10​5​​）和K（≤500）。其中K是最低里程，即为照顾乘坐短程航班的会员,航空公司还会将航程低于K公里的航班也按K公里累积。随后N行，每行给出一条...

原创 7-14 QQ帐户的申请与登陆 （25 分)map学起来

新知识 map实现QQ新帐户申请和老帐户登陆的简化版功能。最大挑战是：据说现在的QQ号码已经有10位数了。输入格式:输入首先给出一个正整数N（≤10​5​​），随后给出N行指令。每行指令的格式为：“命令符（空格）QQ号码（空格）密码”。其中命令符为“N”（代表New）时表示要新申请一个QQ号，后面是新帐户的号码和密码；命令符为“L”（代表Login）时表示是老帐户登陆，后面是登陆信息。QQ...

原创 7-12 拯救007

在老电影“007之生死关头”（Live and Let Die）中有一个情节，007被毒贩抓到一个鳄鱼池中心的小岛上，他用了一种极为大胆的方法逃脱 —— 直接踩着池子里一系列鳄鱼的大脑袋跳上岸去！（据说当年替身演员被最后一条鳄鱼咬住了脚，幸好穿的是特别加厚的靴子才逃过一劫。）设鳄鱼池是长宽为100米的方形，中心坐标为 (0, 0)，且东北角坐标为 (50, 50)。池心岛是以 (0, 0) 为圆...

原创 7-9 谁是真正的首富 （25 分)

有n个富豪，他们聚在一起想要知道谁才是他们之中的最有钱的人，然而他们所有人都隐藏了家产，根据调查，你知道了m个富豪之间的的财富关系。现在你要根据已有的关系信息推理出这n个人之中谁才是真正的首富。输入格式:多组输入。每组第一行输入2个整数n,m（0&lt;=m，n&lt;=1000000）,当n=m=0时结束输入。接下来m行，每行输入一个整数a(1&lt;=a&lt;=n)，一个字符c，和一个整...

原创 7-1 有理数均值 （20 分)

本题要求编写程序，计算N个有理数的平均值。输入格式：输入第一行给出正整数N（≤100）；第二行中按照a1/b1 a2/b2 …的格式给出N个分数形式的有理数，其中分子和分母全是整形范围内的整数；如果是负数，则负号一定出现在最前面。输出格式：在一行中按照a/b的格式输出N个有理数的平均值。注意必须是该有理数的最简分数形式，若分母为1，则只输出分子。输入样例1：41/2 1/6 3/6 ...

原创 六度空间（队列真是个好东西哦哦）

“六度空间”理论又称作“六度分隔（Six Degrees of Separation）”理论。这个理论可以通俗地阐述为：“你和任何一个陌生人之间所间隔的人不会超过六个，也就是说，最多通过五个人你就能够认识任何一个陌生人。”“六度空间”理论虽然得到广泛的认同，并且正在得到越来越多的应用。但是数十年来，试图验证这个理论始终是许多社会学家努力追求的目标。然而由于历史的原因，这样的研究具有太大的局限性和...

原创 活动安排

描述设有n个活动的集合E={1,2,3…,n}，其中每个活动都要求使用同一资源，如演讲会场等，而在同一时间内只有一个活动能使用这一资源。每个活动 i 都有一个要求使用该资源的起始时间 si 和一个结束时间 fi ，且si&lt;fi。要求设计程序，使得安排的活动最多。输入输入只有一个用例，第一行为一正整数n，表示活动个数，接下来n行，每行两个整数，分别表示第 i 号活动的起始时间和结束时间。...

原创 贪心总结

贪心算法贪心算法（又称贪婪算法）是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的是在某种意义上的局部最优解。贪心算法不是对所有问题都能得到整体最优解，关键是贪心策略的选择，选择的贪心策略必须具备无后效性，即某个状态以前的过程不会影响以后的状态，只与当前状态有关做过的题类型可分割背包，不可分割背包等等等经典问题背包问题，活动安排…心得反...