- 博客(33)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 2021年-年度总结
其实今年的年度总结一开始没想到要说什么，顺便看了一下去年的总结。顺便感觉有话可以聊了。那大概总结以下几个内容：1、2021年春招过程2、拿下大厂offer3、毕业论文如何在一周内完成4、女朋友有多重要5、顺利毕业6、进入大厂工作7、如何看待大数据这个行业的现状可能这个内容比较多，我打算每周写一点。虽然都是一些不太重要的事情，但是记录下来，明年在看的时候，这都是成长。......
2021-12-04 14:15:22
1419
4
原创 2020年-年度总结
2020年是一个灾难年，上半年的疫情让我们少上了大概3个月的课，好在放假之前我就已经清楚的认识到了《数据结构》的重要性，边玩边学的情况下完成了大半，相比于我的同学们我算是混的极差了，人家在做大数据的项目时候我混了，做了简单的爬虫，这确实让我吃苦头。比如：要说爬虫，我觉得多进程的爬虫加上引入的IP代理池可以有效的避免IP被封的情况，试问万**老师你知道这个原理？实在不想吐槽一些老师，真的能chui(说)不会还要说自己很会的样子。其实这个爬虫数据结构没让我在秋招中占多少便宜，其实呢找工作...
2020-12-22 15:32:50
348
原创 分析CPU占用最多的JAVA代码位置
背景介绍：大数据环境下有时候需要分析写的代码合不合理是个非常复杂的活，也许本地跑的好好的，上了集群后，反而代码有问题，浪费很多资源实践环节：假如下边有三个线程，我们启动java程序后，如何定位那个代码需要更多的资源呢？public static void main(String[] args) throws InterruptedException { new Thread(null,()->{ while(true){} },"threa
2022-05-21 20:10:47
439
原创 Mac下Python--Selenium（Chrome）安装教程
1、Python安装seleniumpip install selenium2、根据Chrome浏览器版本下载ChromeDriver在设置–>>关于Chrome下查看版本号。例如我的是86.0.4240.75,其实需要的Driver版本就是86.0.4240即可3、下载Chrome Driver下载地址（可能需要翻墙）只用前三位版本号对应即可。例如我的是86.0.4240.75,那么86.0.4240即可。4、将安装好的chromeDriver移动到/usr/local
2021-01-12 12:11:31
1263
原创 Python爬虫利器--异步async框架
这里写目录标题请求逻辑装饰器使用方法定义指定并发量的协程获得协程返回的结果给task 添加回调函数task运行结果分享一个爬虫，其实只用修改一下爬虫的请求逻辑就会很通用了。在工作中，尽管python慢，但是异步加载的协程可不慢，在请求接口的时候快的飞起。请求逻辑这是python的装饰器，其实就是帮助我们打印一下运行日志，挺好用的。def logged(func): @wraps(func) def wrapper(*args, **kwargs): logger =
2021-01-11 21:11:15
906
1
原创 Scala入门学习（适合有python基础）
这里写目录标题前言基础类型两者变量前言不得不说，作为优秀的大数据开发工程师，Scala这门语言是必须掌握的，像Spark、Flink、Kafka等底层都是Scala写的，没办法，而且近来需要使用Scala编程Spark程序，正好自身掌握的最好的语言就是Python，想一招鲜吃遍天是不太可能的，这远远不够用，学习一门新的语言已经迫在眉睫。给自己定个小目标，10天吧，10天的时间入门就行，后续在深入研究。基础类型两者变量Scala有两者变量，一种是val，另一种是var。它们有什么区别呢？看一看编程的
2021-01-06 17:17:28
593
1
原创 脚本安装java环境
在工作中，需要涉及到安装环境变量，如果机器太多就会导致花费大量的时间在配置环境上，如果有一个脚本，只需要把我们需要的安装包放在指定位置等待安装即可就可以减轻工作压力，因此本文意在减轻jdk环境变量的安装问题注意事项：1、jdk安装包，默认放在/root目录下面2、java的安装目录在/usr/local/java/下3、run.sh和check_jdk.sh 需要放在同一目录下run.sh#!/bin/bash#安装java jdk#ar -zxvf jdk* -C /root/jdk/
2020-11-11 11:48:40
283
原创 查看yarn中的jobhistory（包含window上日志信息跳转功能的设置）
一般来讲，在yarn中默认是没有开启Jobhistory服务的，需要自己手动打开。首先需要在hadoop的etc/hadoop的mapred-site.xml中添加如下内容：<property> <name>mapreduce.jobhistory.address</name> <value>主机名字:10020</value></property><property> <name>mapre
2020-10-07 21:45:39
806
1
原创 Hive 四种排序的区别
这里写目录标题1、order by2、sort by3、 distribute by4、 cluster by5、总结1、order byorder by 顾名思义就是全局排序，在hive中无论设置几个job，最后的输出结果一定是一个job。字段说明：empno : 员工IDename: 员工名字ejob: 职位mgr: 领导IDhiredate: 聘用日期sal: 工资comm: 奖金deptno:部门ID统一设置好分区数量3需求：按照员工的工资(sal)升序排序然后我们保
2020-10-04 16:58:31
1692
原创 Linux下修改anaconda3安装后默认将python指定为python3版本
首先保证自己的anaconda安装好了，然后我们使用alias修改环境变量的名字，指向linux自带的python2的版本。这样使用python3，直接输入python3会默认指向安装好需要的包的python3，而不是本地的。而输入python2，会自动跳转系统自带python。修改环境变量如下：使环境变量生效：效果如下：pythonpython2python3检查是否有需要的常用python包numpy、pandas、scipy、sklearn等等...
2020-09-28 11:00:56
2857
原创 Centos7.8下mysql数据库的安装教程
这里写目录标题1、直接使用本地rpm和yum下载mysql1.2、卸载mysql1.2 安装过程2、登陆mysql数据库2.1 使用在线安装的时候无法登陆，密码正确也无法进入1、直接使用本地rpm和yum下载mysql1.2、卸载mysql首先检查本地是否有mysql，先有rpm清除掉查看本地mysql数据库的信息rpm -qa|grep -i mysql清除旧的mysql数据库rpm -ev （复制上面的名字）最好使用find方法检查一下所有文件目录中有没有mysql，如果安装过my
2020-09-27 16:37:24
307
原创 Spark Worker源码追踪和分析
Worker原理driver原理每一个Driver都会被封装成DriverRunner。在DriverRunner中，主要做的事情，就是在worker上面创建driver的工作目录，然后拉取jar包到本地将这些信息封装好了后使用buildProcess打包发送给driver进行运行，这里只需要知道driver是被java的waitFor启动即可。源码1、启动driver，主要是将配置信息封装到driverRunner中，driverRunner是一个一个的线程。2、调用线程启动函数，准备启动d
2020-09-24 17:46:50
137
原创 Centos7下hadoopHA集群搭建过程
1、修改静态IP和hosts这里一定要注意，在/etc/hosts下，必须要注释掉前两行，否则后面hadoop集群启动的时候，会报错！！！这是我已经解决好了的坑参考下面的格式：#127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.1
2020-09-20 20:55:50
367
原创 Centos7下三台机器的时间同步问题（HA集群NameNode无缘无故挂了一个）
这里写目录标题1、首先，必须要有ntp2、给机器设置同步IP总结1、首先，必须要有ntp也就是说首先要进行yum install ntp注意，由于我下载的时候，最开始没有设置阿里云的镜像，因此，最开始是没有这个包的，并且centos7也不会提供这个包，所以，必须要手动下载！注意，是必须要下载这个！！！有可能可以先下好ntp这个包，然后用U盘拷到Centos下面直接本地安装就可以了。强烈建议安装yum镜像，否则下载时间把你等到气死！下面分享如何设置yum 镜像问题因为我下载的Centos7版
2020-09-19 22:48:16
403
原创 记一次Centos7.2.1511系统安装过程
这里写目录标题1、下载Centos72、制作启动U盘3、系统安装4、修改网卡名称5、采坑过程1、下载Centos7下载地址： 注意是下载后缀为DVD的连接2、制作启动U盘UltralSO下载地址这个东西直接下好后，一直下一步安装就可以，占不了多大的空间。最后打开的效果如下：因为我们只要用一次就好，所以呢点击试用就可以了。进去以后是这个样子在本地目录找到我们下载好的iso压缩包双击压缩包，其中的文件直接放入上面的文件夹。这里一定要注意！！！！！我使用的是U盘，U盘里
2020-09-18 22:39:34
755
原创 python数据结构第十二章课后习题答案
这里写目录标题12.2712.2812.2912.3012.3112.3312.3412.3512.3612.3812.3912.4012.4112.4212.4312.4512.4612.4712.4812.4912.5012.5312.5612.5712.5812.5912.6012.6112.27import mathimport numpy as npclass Empty(Exception): passclass _DoublyLinkedBase: """A
2020-09-18 21:44:17
842
原创 python数据结构第十一章课后习题答案 (三)
这里写目录标题11.5111.5311.6111.6211.51from abc import ABCfrom collections import MutableMappingclass Tree: """Abstract base class representing a tree structure.""" # ----------------------------nested Position class -----------------------------
2020-09-15 20:42:43
348
原创 python数据结构第十一章课后习题答案 (二)
这里写目录标题11.4311.4411.4511.4611.4711.43from abc import ABCfrom collections import MutableMappingclass Tree: """Abstract base class representing a tree structure.""" # ----------------------------nested Position class --------------------------
2020-09-15 20:42:16
595
1
原创 python数据结构第十一章课后习题答案 (一)
这里写目录标题11.111.211.3111.3511.3711.4011.4111.1from abc import ABCfrom collections import MutableMappingclass Tree: """Abstract base class representing a tree structure.""" # ----------------------------nested Position class -------------------
2020-09-15 20:37:39
448
原创 python数据结构第十章课后习题答案
10.1这里写目录标题10.110.210.310.510.1510.1710.2510.2610.2810.2910.3010.3110.3210.3310.3510.3710.3810.4010.4110.4210.4210.4510.4710.4810.5010.5110.5210.53from collections import MutableMappingclass MyMutableMapping(MutableMapping): def __init__(self):
2020-09-15 20:27:54
1048
原创 python数据结构第九章课后习题答案
9.5class Empty(Exception): passclass _DoublyLinkedBase: """A base class providing a doubly linked list representation.""" class _Node: """Lightweight,nonpublic class for storing a doubly linked node.""" __slots__ = "_elemen
2020-09-15 20:21:14
699
原创 python数据结构第八章课后习题答案（三）
8.61class Tree: """Abstract base class representing a tree structure.""" # ----------------------------nested Position class ----------------------------- class Position: """An abstraction representing the location of a single element
2020-09-15 20:15:42
519
原创 python数据结构第八章课后习题答案（二）
8.46from typing import List, Anyclass Tree: """Abstract base class representing a tree structure.""" # ----------------------------nested Position class ----------------------------- class Position: """An abstraction representing t
2020-09-15 20:14:59
635
原创 python数据结构第八章课后习题答案（一）
再次更新8.5class Tree: """Abstract base class representing a tree structure.""" # ----------------------------nested Position class ----------------------------- class Position: """An abstraction representing the location of a single ele
2020-09-15 20:08:06
1291
原创 python数据结构第七章课后习题答案（二）
7.22class Empty(Exception): passclass _DoublyLinkedBase: """A base class providing a doubly linked list representation.""" class _Node: """Lightweight,nonpublic class for storing a doubly linked node.""" __slots__ = "_eleme
2020-09-15 20:03:30
1170
原创 python数据结构第七章课后习题答案（一）
很抱歉代码没有及时更新，我决定以后会把自己的代码都分享出来7.1class Empty(Exception): passclass Linkstack: __slots__ = "_size", "_head" class _Node: __slots__ = "_element", "_next" def __init__(self, element, next): self._element = element
2020-09-15 20:01:58
2277
原创 python数据结构第六章课后习题答案
3class Empty(Exception): """Error attempting to access an element from an empty container.""" passclass ArrayStack: """LIFO Stack implementation using a Python list as underlying storage.""" def __init__(self): """Create an emp
2020-06-03 14:21:15
2017
原创 python数据结构第五章课后习题答案
1import sysdata = list()n = 100for k in range(n): a = len(data) b = sys.getsizeof(data) print("length :{0} Size in bytes: {1}".format(a,b)) data.append(None)2import sysdata = list()n = 100size = 63for k in range(n): a = le
2020-05-18 18:52:42
3356
原创 python数据结构第四章课后习题答案
1def find_max(data, index): if index == len(data)-1: return True max = find_max(data,index+1) if max > data[index]: return max else: return data[index]if __name__ == "__main__": data = [1, 2, 3, 4444, 5, 6
2020-05-18 18:44:44
3878
原创 python 数据结构第二章课后习题答案
4class Flower: def __init__(self, name, account, price): self._name = str(name) self._account = int(account) self._price = float(price) def get_name(self): return self._name def get_account(self): retu
2020-05-18 18:30:14
2192
原创 python数据结构第一章课后习题答案
第一次创作1def is_multiple(n, m): if (not isinstance(n, int)) | (not isinstance(m, int)): raise TypeError('elements must be numeric') if n // m == n / m: return True else: ...
2020-04-13 22:35:27
1388
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人