自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 深刻掌握递归——从栈图来认识

函数调用另外一个函数是合法的;函数调用自己也是合法的。调用自己的过程称为递归函数,这个执行过程叫做递归。递归在数据结构中经常会用到,特别是解决树的递归问题时很好用。但是想明白递归是挺烧脑的,一般即使两层、三层递归也会容易给人绕进去。要是我们了解函数在底层的存储机制,利用栈(先进后出)来进行分析,或许就容易多了。不讲废话,直接捞干的,我们首先回忆下递归的规则,函数递归调用的重要规则程序执...

2019-10-26 21:35:35 240 2

原创 使用Python进行12306抢票

最近朋友圈各种加速包抢票,偶然看到可以使用python也可以进行抢票,索性测试下。不说废话,不搞那么多前戏了,直接贴上图看一下效果:这是一个开源项目,具体使用方法在github上有着较详细的介绍。下面只对这个开源项目按照自己的理解做个简单介绍,自身理解和实际有所出入的地方,可以提出来一起去修正 学习。贴心的作者已经将流程图画了出来,按照图示,这也就是个模拟正常人买票的流程。1、识别验证...

2019-01-14 19:41:20 1636

原创 itchat--使用python实现与图灵机器人交互

itchat---使用python实现与图灵机器人交互

2018-08-16 18:05:06 5391 1

原创 第一次用Python制作词云

用了一天时间终于做好第一张算是满意的词云了。网上的教程看了不少,还是有不少坑的。 下面贴上我用的代码:__author__ = 'Solarzhou'#!/usr/bin/env python#-*- coding: utf-8 -*-from os import pathfrom wordcloud import WordCloud, STOPWORDSimport nump...

2018-07-29 21:06:23 383

原创 外星人入侵(使用python编写)

外星人入侵武装飞船学习完python基础语法知识后,便可进行项目实战。下面试着开发一个游戏,这将会使用到Pygame,这是一组功能强大而有趣的模块,可 用于管理图形、动画乃至声音,可以让我们更轻松地开发复杂的游戏。安装Pygame开始编码前,先来安装Pygame。本文只介绍Windows系统下如何安装。使用pip安装python包大多数较新的Python(3.4以上...

2018-07-22 17:57:30 4717 4

原创 2020-08-06-京东笔试题

1题目描述:X星人的基因由A、B、C、D、E五种不同的结构组合而成。如果两个性别不同的X星人的基因序列相似度大于50%,按照X星的法律他们是禁止结婚的,等于50%据说还是可以的。那么基因的相似度怎么计算呢?分别从两个人身上取长度均为N的基因片段,如果它们的最长公共子序列(注意,最长公共子序列不需要连续)的长度为M,则相似度=M/N。是不是很简单呢?现在给你两段X星人的基因序列片段,请你判断他们是不是可以结婚?思路:动态规划,求最长子序列问题def test(): n = int(

2020-08-06 21:20:33 66 2

原创 Hive1.2升级到Hive2.3的方法以及相关报错整理

实验环境Ubuntu16.04;Hive1.2.1(旧);Hive2.3.1(新);实际操作按照之前安装hive1.2的方法,将相关配置文件复制过来,不在赘述。需要具体步骤的,可以在文章末尾的公众号上回复[hive安装]获得完整版的安装文件以及hive教程。将hive2.3重新安装一遍就完事了吗?当然不是。我们发现,安装完启动 hive 命令后,出现如下报错:FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveE

2020-07-21 12:32:37 60

原创 Caused by: java.lang.ClassNotFoundException: org.apache.avro.generic.GenericRecord

环境windows10;idea;错误分析首先排除,maven下下载依赖没问题,也就是写代码是没有报红;那么很有可能是pox.xml中的依赖配置有问题,如下: <dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>${avro.ve

2020-07-06 19:20:12 116

原创 考研经验贴

考研经验帖写在前边最近几年参加研究生统一招生考试的人数越来越多,伴随着互联网行业的快速发展,许多人也会选择考与计算机专业相关的硕士。在准备考研之前,首先想想为什么要考研呢?是对某个领域感兴趣要继续学习呢?或是当年高考不理想想重新进入目标院校换个平台呢?还是仅仅为了逃避就业而选择考研?如果是后者,笔者是不建议继续上研的,因为就业是迟早的事,如果抱着这种心态去上研,大概率在读研阶段效率也不会太高...

2020-02-20 21:06:45 871

原创 使用Python剪辑 拼接音频文件

使用Python剪辑 拼接音频文件近日有同学让我帮他剪辑某一段音频,笔者就搜罗了下网上一些常用的剪辑音视频软件。各类杂七杂八的软件挺多的,在纠结于选择哪一个时,忽然想起”为嘛不用Python神器试试呢?“有了想法,那就实践呗!这一搜索,还真有相应的库是可以切割音频的。方法1from scipy.io import wavfileimport numpy as np使用scipy库...

2020-02-12 16:34:01 972

原创 实习面经-京东广告部门-数据研发

面试部门–京东广告部门笔者目前研二网络空间安全硕士在读,按照实验室往年的惯例,这个寒假过后就要准备投实习岗位了(当然是越早准备越好)。我们实验室今年1.10号以后就可以回家了,那会儿看到一位同学发的推荐贴,就试着投了下京东的广告部门。很快就接到部门leader电话,约定1.15下午面试,其实这个时间是可以商量的,要是觉得自己准备的不是太充分,可以往后顺延。笔者准备投**”数据研发“,”后台开发...

2020-01-25 22:27:46 331

原创 错误:找不到或无法加载主类(源文件中含有包名 package)----java

实验环境windows10;报错分析如下图所示,编译(java)之后,执行(java)程序时,出现如下报错:找不到或无法加载主类。首先排除你的环境变量配置问题,即,命令行界面能够识别java和javac命令,这就说明环境配置没有问题。这时可以判断出现,出现该问题的原因是java文件中带有包名。解决方案方案1如果只是单个文件测试,去掉文件头部的包名(如:package com.ru...

2019-12-16 10:51:48 208

原创 通过列表创建二叉树——python实现

创建二叉树通过python实现,将所给列表作为参数相关代码# -*- coding:utf-8 -*-'二叉树结点类'class TreeNode: def __init__(self, x): self.val = x self.left = None self.right = None'列表创建二叉树'def ...

2019-12-09 20:31:30 597

原创 解决:java.rmi.ConnectException: Connection refused to host: 127.0.0.1; nested exception is:

实验环境windows10;idea2010.1.3;scala 2.11.12;报错详情当注册一个服务时,出现如下报错:Exception in thread "main" java.rmi.ConnectException: Connection refused to host: 127.0.0.1; nested exception is: java.net.ConnectE...

2019-12-06 15:43:57 721

原创 剑指offer(Python3实现)

swordToOffer使用python3编写《剑指offer》所有算法,在参考牛客网,剑指offer书本以及其他前辈所写的程序的同时,也加入了自己的解题思路,力争用简单的语言描述清楚。所有的程序均已上传到github,之后将持续整理更新,题目的顺序与牛客网基本一致。源码地址chapter2试题 3:二维数组中的查找试题 4:替换空格试题 5:从尾到头打印链表试题 6...

2019-11-24 22:23:14 281

原创 Cloudera Manager_java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

实验环境Cloudera manager6.3;相关报错scala> val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysqll://hadoop210:3306/rdd").option("driver", "com.mysql.jdbc.Driver").option("dbtable", "t").optio...

2019-11-22 17:10:55 176

原创 Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnection:ExceptionCould not create con

spark,scala,mysqlcom.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Could not create connection to database server.The server time zone value 'Öйú±ê׼ʱ¼ä' is unrecognized or represents more than one time zone

2019-11-20 14:41:29 132

翻译 Overriding toString() method in Scala

示例代码不覆盖toString方法考虑一下的程序。再类中不适用toString方法。// Scala Program without override toString method // Creating Class class Language(LangArticle: Int, LangName: String) { // Defining getLangArticle ...

2019-11-12 18:37:42 38

原创 解决modulenotfounderror: no module named 'resource' &&Python worker failed to connect back

如果你也是spark2.4.0,那么在windows系统上肯定会出现该错误。实验环境windows10spark2.4.0相关报错Traceback (most recent call last): File "C:\Users\mjdbr\Anaconda3\lib\runpy.py", line 193, in _run_module_as_main "__main_...

2019-10-20 22:39:05 822

原创 剑指offer 3

本期题目概览本期的五道题涉及到的知识点有:递归,整数的二进制表示,逻辑运算符,python中List 常用的内置方法。chapter3试题 11:变态跳台阶一只青蛙一次可以跳上1级台阶,也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。(递归想明白不容易,即使递归两次认真去想那也很烧脑。之前看过一本书,作者对于递归给的建议:别想太多,相信信念。还别说...

2019-10-15 22:53:27 455

原创 java.io.IOException: Failed to delete: C:\Users\dell\AppData\Local\Temp\spark- in windows

实验环境windows10spark2.4Scala 2.11.12问题描述\sbtSpark1_jar>spark-submit --class com.spark.WordCount.WordCount sbtSpark。jarjava.io.IOException: Failed to delete: C:\Users\dell\AppData\Local\Temp\s...

2019-10-14 14:13:16 913

原创 在Windows平台安装Hadoop&&idea调试spark程序

使用idea可以方便的编译scala程序,只是在windows环境下,安装hadoop不太方便。本文搜集了网上给的教程,整理出一些能解决问题的方法。实验环境windows10;idea2019.1.3scala-sdk-2.11.0jdk1.8.0_201hadoop-2.7.1spark2.4.3下载安装包由于hadoop依赖于jdk,所以需要先安装配置jdk,具体下载地...

2019-10-12 21:19:03 90

原创 虚拟化技术的优点和缺点

虚拟化技术的优点和缺点在过去几年中,虚拟化一直是数据中心和企业技术的重点,大量企业已经使用云计算和其他解决方案实现了虚拟化。即使是小型企业,尤其是那些依赖数据处理的企业,也在享受虚拟化带来的好处。然而,需要注意的是,这项技术并不都是好的,它对企业提出了一些特定的挑战。这意味着你应该准确地了解它的利弊,以便能够决定它是否适用于你。虚拟化技术的优点集中化管理管理员不用再跑上跑下的处理每个工位...

2019-10-10 13:57:34 5371

原创 剑指offer 2

本期题目概览chapter2试题 7: 用两个栈实现队列用两个栈来实现一个队列,完成队列的Push和Pop操作。 队列中的元素为int类型。试题 8: 旋转数组的最小数字把一个数组最开始的若干个元素搬到数组的末尾,我们称之为数组的旋转。输入一个非递减排序的数组的一个旋转,输出旋转数组的最小元素。例如数组{3,4,5,1,2}为{1,2,3,4,5}的一个旋转,该数组的最小...

2019-10-08 21:18:41 449

原创 剑指offer 1

明天国庆,每年这个时候学校的三方也差不多下来了,各个企业自然也会催着签合约。明年这个时候,如何决胜秋招?那会就是我们了该认真考虑了。前段时间和已经拿到offer的学长交流,也看了些他们的面经,了解到今年的行情不是太好,除过一些大厂不受影响外,好些企业都有所缩招。互联网曾一度发展相当迅猛,这个势头还会持续,只是互联网行业的红利已经到了瓶颈期了。以后再这个行业捞金只会更难,对求职者的要求也自然会提高...

2019-10-01 13:49:28 281

原创 atom插件报错: AssertionError: html-pdf: Failed to load PhantomJS module&Markdown-pdf: Error. Check conso

atom是github出的一款产品,提供了许多可供选择的插件,用来编辑文档是挺方便的。笔者也是最近在使用这款软件。其中安装某些软件时出现一些问题,如:文本格式转换插件markdown-themeable-pdf,markdown-pdf.下面具体详述报错及其解决办法。一些报错Markdown-pdf: Error. Check console for more information....

2019-09-30 21:14:22 200

原创 mysql导出数据:解决--secure-file-priv option so it cannot execute this statement

实验环境Ubuntu16.4;MySQL5.7问题描述准备将数据库中某张表导出来,报如下错误:mysql> SELECT * FROM runoob_tbl INTO OUTFILE '/tmp/runoob.txt';ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv opti...

2019-09-21 11:40:20 436

转载 win10家庭版安装Docker

在网上查看了好多教程主要是说安装 win7 win8来装,终于还是没能解决。这里转载一篇好用的教程。win10家庭版安装Docker这里主要是将当前的系统伪装成 专业版...

2019-08-26 14:46:28 69

原创 机器学习实战笔记--朴素贝叶斯&Logistic回归

文章目录2 K-近邻算法 & 3 决策树4 基于概率论的分类方法:朴素贝叶斯4.5 使用Python进行文本分类4.5.1 准备数据:从文本中构建词向量4.5.2 训练算法:从词向量计算频率4.5.3 测试算法: 根据现实情况修改分类器4.5.4 准备数据:文档词袋模型4.6 示例:使用朴素贝叶斯过滤垃圾邮件4.6.1 准备数据:切分文本4.6.2 测试算法:使用朴素贝叶斯进行交叉验证4....

2019-08-22 18:16:59 101

原创 机器学习实战笔记

Machine Learning in Action文章目录Machine Learning in Action2.1 实施kNN算法代码清单1:测试,结果:2.2使用kNN改进约会网站的配对效果2.2.1 准备数据,从文本中解析数据2.2.2 分析数据: 使用Matplotlib创建散点图2.2.3 准备数据:归一化数值测试算法:作为完整程序验证2.3使用算法:构建完整可用系统2.3.1 准备...

2019-08-16 21:01:31 65

原创 解决:caused by: java.io.ioexception: error=13, permission denied

Caused by: java.io.IOException: Cannot run program "/root/anaconda3/bin/python": error=13, Permission deniedpysparkcloudera manager

2019-08-07 15:33:29 2891 4

原创 centos使用代理下载--yum$pip

pip 使用代理下载如:我们需要安装pyspark模块.可以通过如下命令:pip isntall pyspark --proxy=http://xxxxxx:xxxx其中//后面为代理·IP,冒号后面为端口yum 使用代理下载使用yum下载时不能按照上述方法操作,需要在 /etc/yum.conf文件中加上代理。打开文件增加一行: proxy=http://xxx.xxx.xxx:xx...

2019-08-07 13:11:59 167

原创 pyspark : NameError: name 'spark' is not defined

如题所示的报错,这是因为在Python 程序中没有默认的 pyspark.sql.session.SparkSession,因此我们只需导入相关模块,再将其转换为 SparkSession。相关代码:from pyspark.context import SparkContextfrom pyspark.sql.session import SparkSessionsc = SparkCo...

2019-08-02 09:47:57 2354

原创 python中的多线程 threading

文章目录多线程什么是python多线程常用的线程模块及方法存储进程结果 Queue多线程执行的效率?GIL线程锁 Lock多线程什么是python多线程多线程是加速程序计算的有效方式,Python的多线程模块 threading 是挺容易学习的。线程在执行过程中与进程还是有区别的。每个独立的进程有一个程序运行的入口、顺序执行序列和程序的出口。但是线程不能够独立执行,必须依存在应用程序中,由...

2019-07-31 21:01:17 89

原创 解决:UnicodeDecodeError: 'gbk' codec can't decode byte 0x8b in position 21804: illegal multibyte seque

环境windows10;pycharm;python3.7问题描述python读取json文件对象时报错:"UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 205: illegal multibyte sequence"解决方案方法1以只读方式打开时指定编码方式: with open(JS...

2019-07-28 12:06:13 14286

原创 python中的特殊方法 __getitem__()

特殊方法----getitem()Python的特殊方法__getitem_() 主要作用是可以让对象实现迭代功能。我们通过一个实例来说明。定义一个Sentence类,通过索引提取单词。import reRE_WORD = re.compile(r'\w+')class Sentence: def __init__(self, text): self.text =...

2019-07-19 14:08:37 7343

原创 使用functools.lru_cache装饰器··

functools.lru_cache 是非常实用的装饰器,它实现了备忘功能。这是一项优化技术,它把耗时的函数的结果保存起来,避免传入相同的参数时重复计算。LRU 三个字母是 “Least Recently Used" 的缩写,表明缓存不会无限制增长,一段时间不用的缓存条目会被扔掉。

2019-07-13 18:15:00 94

原创 ./zeppelin-daemon.sh start 启动成功,但是无法通过浏览器访问Web界面

实验环境VMware15;Ubuntu16;zeppelin-0.8.1-bin-all.tgz问题描述成功解压文件,当执行 ./zeppelin-daemon.sh start时显示OK ,但是当打开浏览器不能访问web界面。原因分析及解决1 防火墙屏蔽了关闭防火墙,如下所示:(base) hadoop@ubuntu:~/zeppelin/bin$ sudo ufw disable...

2019-07-06 11:24:48 2239

原创 输入 zeppelin.cmd没反应 :windows10

实验环境windows10;zeppelin-0.8.1-bin-all问题描述If you are on Windows:bin\zeppelin.cmd安装官网所说,无需做任何配置,在windows命令行启动Zeppelin,但是没反应。问题分析及解决方法一番排错后在stackoverflow.com 网站找到解决办法;在 /bin/common.cmd 中,ZEPPELI...

2019-07-05 19:55:08 443

原创 python程序访问hive仓库,并将读取的数据写入文本

python程序访问hive仓库,并将读取的数据写入文本

2019-06-27 17:16:50 2339

提示
确定要删除当前文章?
取消 删除