Winyar的博客

原创 【无标题】

输入一个由n个大小写字母组成的字符串，按照Ascii码值从小到大的排序规则，查找字符串中第k个最小ascii码值的字母（k>=1），输出该字母所在字符串的位置索引(字符串的第一个字符位置索引为0）。k如果大于字符串长度，则输出最大ascii值的字母所在字符串的位置索引，如果有重复的字母，则输出字母的最小位置索引。第一行输入一个由大小写字母组成的字符串第二行输入k，k必须大于0，k可以大于输入字符串的长度输出字符串中第k个最小ascii码值的字母所在字符串的位置索引。k如果大于字符串长度，则输出最大asc

原创 JAVA求解【字符串加密】

给你一串未加密的字符串str，通过对字符串的每一个字母进行改变来实现加密，加密方式是在每一个字母str[i]偏移特定数组元素a[i]的量，数组a前三位已经赋值：a[0]=1,a[1]=2,a[2]=4。当i>=3时，数组元素a[i]=a[i-1]+a[i-2]+a[i-3]，例如：原文 abcde 加密后 bdgkr，其中偏移量分别是1,2,4,7,13。第一行为一个整数n（1...

原创 JAVA求解【字符串分割】

给定一个非空字符串S，其被N个‘-’分隔成N+1的子串，给定正整数K，要求除第一个子串外，其余的子串每K个字符组成新的子串，并用‘-’分隔。对于新组成的每一个子串，如果它含有的小写字母比大写字母多，则将这个子串的所有大写字母转换为小写字母；反之，如果它含有的大写字母比小写字母多，则将这个子串的所有小写字母转换为大写字母；大小写字母的数量相等时，不做转换。输入为两行，第一行为参数K，第二行为字符串S。输出转换后的字符串。312abc-abCABc-4aB@12abc-abc-ABC-4aB-@子串为12ab

原创 JAVA解题【求取最长的完全连续交替方波信号】

输入一串方波信号，求取最长的完全连续交替方波信号，并将其输出，如果有相同长度的交替方波信号，输出任一即可，方波信号高位用1标识，低位用0标识，如图：1） 一个完整的信号一定以0开始然后以0结尾，即010是一个完整信号，但101，1010，0101不是2）输入的一串方波信号是由一个或多个完整信号组成3） 两个相邻信号之间可能有0个或多个低位，如0110010，0110000104） 同一个信号中可以有连续的高位，如01110101011110001010，前14位是一个具有连续高位的信号5） 完全连续

原创 JAVA求解【乱序整数序列两数之和绝对值最小】

给定一个随机的整数（可能存在正整数和负整数）数组 nums ，请你在该数组中找出两个数，其和的绝对值(|nums[x]+nums[y]|)为最小值，并返回这个两个数（按从小到大返回）以及绝对值。每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。一个通过空格分割的有序整数序列字符串，最多1000个整数，且整数数值范围是 [-65535, 65535]。输出描述:两数之和绝对值最小值-1 -3 7 5 11 15-3 5 2因为 |nums[0] + nums[2]| = |-3 + 5| =

原创 JAVA解题【We Are A Team】

总共有n个人在机房，每个人有一个标号（1

原创 JAVA求满足条件的最长子串的长度（字母数字组合，有一个字母，不能全是字母或数字）

给定一个字符串，只包含字母和数字，按要求找出字符串中的最长（连续）子串的长度，字符串本身是其最长的子串，子串要求：1、 只包含1个字母(a~z, A~Z)，其余必须是数字；2、 字母可以在子串中的任意位置；如果找不到满足要求的子串，如全是字母或全是数字，则返回-1。输入描述：字符串(只包含字母和数字)输出描述：子串的长度输入abC124ACb输出4说明满足条件的最长子串是C124或者124A，长度都是4输入a5输出2说明字符串自身就是满足条件的子串，长度为2输入aBB9输出

原创 JAVA实现判断字符串子序列（子序列不需要黏在一起匹配，可以删减字符顺序匹配）

给定字符串target和source，判断target是否为source的子序列。你可以认为target和source 中仅包含英文小写字母，字符串source可能会很长，长度~=500,000，而target是个短字符串，长度

原创 java解题【整数编码】

实现一种整数编码方法，使得待编码的数字越小，编码后所占用的字节数越小。编码规则如下：1、编码时7位一组，每个字节的低7位用于存储待编码数字的补码。2、字节的最高位表示后续是否还有字节，置1表示后面还有更多的字节，置0表示当前字节为最后一个字节。3、采用小端序编码，低位和低字节放在低地址上。3、编码结果按16进制数的字符格式输出，小写字母需转换为大写字母。输入的为一个字符串表示的非负整数输出一个字符串，表示整数编码的16进制码流输入0输出00说明输出的16进制字符，不足两位的前面补0，如0

原创 JAVA实现简单消消乐游戏

输入一个只包含英文字母的字符串，字符串中的两个字母如果相邻且相同，就可以消除。在字符串上反复执行消除的动作，直到无法继续消除为止，此时游戏结束。输出最终得到的字符串长度。输入aacbbdccca输出cdca输入aacbbcd输出d说明:aa、bb被消除后变成，ccd，接着cc又消除掉，最后变成d...

原创 JAVA求最长的指定瑕疵度的元音字串

JAVA求最长的指定瑕疵度的元音字串题目解题写在前面的话：网上没找到java版本的或者是用例没能全部过的，于是写了这个。实现有点繁琐，不过考虑场景总算齐全些了。如大家有更好的解题思路，望能指点一二，谢谢！题目最长的指定瑕疵度的元音子串 | 时间限制：1秒 | 内存限制：262144K | 语言限制：不限开头和结尾都是元音字母（aeiouAEIOU）的字符串为 元音字符串 ，其中混杂的非元音字母数量为其 瑕疵度 。比如:· “a” 、 “aa”是元音字符串，其瑕疵度都为0· “aiur”不是

转载 Python 3.7.4中文参考文档

https://docs.python.org/zh-cn/3/tutorial/index.html

原创 Zookeeper集群指令

Zookeeper集群指令nc安装使用上传nc安装包执行：rpm -ivh nc-1.84-24.el6.x86_64.rpmnc ：netcat 是一个小型的网络通信工具，可以发起TCP请求Zookeeper集群命令可以通过Linux nc 工具来查看Zookeeper集群服务状态（掌握3个即可）执行：echo stat|nc 127.0.0.1 2181查看哪个...

原创 mysql自带数据库说明

±-------------------+| Database |±-------------------+| information_schema || mysql || performance_schema || test |±-------------------+◇ information_schem...

原创 MySQL函数解析

字符串相关函数1　ASCII(String)返回字符串第一个字母的ASCII码：SELECT ASCII(‘A’);SELECT ASCII(‘AB’);这两条语句都是输出65！2　BIN(long)返回整数的二进制形式的字符串SELECT BIN(15);　　输出11113　CHAR(int…)将每个整型转换成对应的字符SELECT CHAR(65,66,67,68,69...

原创 MYSQL个人学习笔记——数据库介绍、mysql安装配置、数据库操作指令、备份恢复、mysql函数、例题分享

数据库一、数据库概述数据库（DataBase，简称DB）：长期存储数据的仓库数据库分类：层次式数据库、网络式数据库、关系型数据库数据库特点：1.实现数据共享，减少数据冗余2.采用特定的数据类型3.具有较高的独立性4.具有统一的数据控制功能表：二维数组的集合在保存应用实体数据时，通常会在数据库中创建多个表，以保存应用程序实体数据。一般来说应用程序中的一个javabean类可以对应...

原创 scala学习笔记——简介、安装及使用

Scala介绍Scala既是面向对象的语言，也是面向函数的语言。scala可以为你在做大量代码重用和扩展是提供优雅的层次结构，并可以通过高阶函数来实现这样的目标。（高阶函数是函数式编程里的特性之一，允许函数作为参数传递，也允许函数作为返回值来返回）Scala创始人 Martin Odersky马丁·奥德斯基Martin是EPFL（瑞士领先的技术大学，洛桑联邦理工学院）编程研究组的教授。他...

原创 Scala 基础语法1

原创 Scala 基础语法2

原创 scala 函数用法

函数的声明scala 函数通过 def 关键字定义，def前面可以具有修饰符，可以通过private、protected来控制其访问权限。注意：没有public，不写默认就是public的。 此外也可跟上override，final等关键字修饰。函数的返回值1）函数体中return关键字往往可以省略掉，一旦省略掉，函数将会返回整个函数体中最后一行表达式的值，这也要求整个函数体的最后一行必须...

原创 scala之懒值、柯里化 Currying

懒值柯里化 Curryingscala的柯里化的作用是结合scala的高阶函数，从而允许用户自建立控制结构。柯里化（Currying）技术 Christopher Strachey 以逻辑学家Haskell Curry 命名的（尽管它是Moses Schnfinkel 和Gottlob Frege 发明的）。它是把接受多个参数的函数变换成接受一个单一参数的函数， 并且返回接受余下的参数且返...

原创 scala集合

Scala CollectionScala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为不可变（immutable）的集合和可变（mutable）的集合。数组Array对于数组的使用，若想调用数组提供的方法，我们需要使用import Array._ 引入包List链表Set注：还有很多方法没有列出，基本和List的方法一致Map映射Map(映射)是...

原创 scala之Tuple 元组

Tuple 元组与列表一样，元组也是不可变的，但与列表不同的是元组可以包含不同类型的元素。元组的值是通过将单个的值包含在圆括号中构成的。例如：...

原创 scala之高阶函数

案例，单词统计写法1：val val1=List("hadoop","hello","hello","hadoop","world","hadoop")val1.groupBy { x => x } .mapValues { x => x.size }.foreach(println(_))打印的结果：(hadoop,3) (world,1)(hello,2)写法2：...

原创 scala之类的用法

概述1）scala中的类和java中基本类似。2）scala中的类同样通过class来进行声明3）scala中的类同样可以具有成员变量和成员方法4）scala中的类同样可以通过new关键字来创建出对象创建类示例1：//创建一个类，并定义类里的两个成员变量name和age。以及一个成员方法 eat()//需要注意的是：scala中变量(var)声明时需要指定初始值，class Per...

原创 Spark基础、安装方法、RDD介绍和操作方法

Spark介绍Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的，后贡献给Apache。是一种快速、通用、可扩展的大数据分析引擎。它是不断壮大的大数据分析解决方案家族中备受关注的明星成员，为分布式数据集的处理提供了一个有效框架，并以高效的方式处理分布式数据集。Spark集批处理、实时流处理、交互式查询、机器学习与图计算于一体，避免了多种运算场景下需...

原创 spark之DAG、Shuffle概述、框架核心概念、集群模式安装

DAG概念概述Spark会根据用户提交的计算逻辑中的RDD的转换和动作来生成RDD之间的依赖关系，同时这个计算链也就生成了逻辑上的DAG。接下来以“Word Count”为例，详细描述这个DAG生成的实现过程。Spark Scala版本的Word Count程序如下：1： val file=sc.textFile(“hdfs://hadoop01:9000/hello1.txt”) 2：...

原创 spark应用之简单案例

案例—WordCount实现步骤1）创建spark的项目在scala中创建项目 导入spark相关的jar包2）开发spark相关代码代码示例：import org.apache.spark.SparkConf import org.apache.spark.SparkContextobject WordCountDriver {def main(args: Array[Str...

原创 Spark架构、调度模块、Shuffle详解、RDD容错机制、RDD缓存

概述为了更好地理解调度，我们先来鸟瞰一下集群模式下的Spark程序运行架构图。1.Driver Program用户编写的Spark程序称为Driver Program。每个Driver程序包含一个代表集群环境的SparkContext对象，程序的执行从Driver程序开始，所有操作执行结束后回到Driver程序 中，在Driver程序中结束。如果你是用spark shell，那么当你启...

原创 GC回收机制及算法、GC收集器、GC的一些配置

概述说起垃圾收集（Garbage Collection, GC），大部分人都把这项技术当做Java语言的伴生产物。事实上，GC的历史比Java久远，1960年诞生于MIT的Lisp是第一门真正使用内存动态分配和垃圾收集技术的语言。当Lisp还在胚胎时期时，人们就在思考GC需要完成的3件事情：1）哪些内存数据需要回收？2）什么时候回收？3）如何回收？经过半个多世纪的发展，目前内存的动态分配...

原创 Spark调优、Checkpoint机制、Spark懒执行、共享变量、解决数据倾斜问题

Spark调优更好的序列化实现Spark用到序列化的地方1）Shuffle时需要将对象写入到外部的临时文件。2）每个Partition中的数据要发送到worker上，spark先把RDD包装成task对象，将task通过网络发给worker。3）RDD如果支持内存+硬盘，只要往硬盘中写数据也会涉及序列化。默认使用的是java的序列化。但java的序列化有两个问题，一个是性能相对比较低，...

原创 Spark重要源码解读

SparkConf类/***Configuration for a Spark application. Used to set various Spark parameters as key-value pairs.**Most of the time, you would create a SparkConf object with new SparkConf(), which wil...

原创 Spark配置详解

Spark配置详解这些参数皆可在 spark-defaults.conf配置，或者部分可在 sparkconf().set设置应用程序属性属性名称默认值含义spark.app.name(none)你的应用程序的名字。这将在UI和日志数据中出现spark.driver.cores1driver程序运行需要的cpu内核数spark.driver.maxR...

原创 Spark SQL入门、基础语法、API

Spark SQL概述Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame（数据框）的编程抽象，DF的底层仍然是RDD，并且可以充当分布式SQL查询引 擎。SparkSQL的由来SparkSQL的前身是Shark。在Hadoop发展过程中，为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而...

原创 数据挖掘与机器学习

数据挖掘数据挖掘：也就是data mining，是一个很宽泛的概念，也是一个新兴学科，旨在如何从海量数据中挖掘出有用的信息来。数据挖掘这个工作BI（商业智能）可以做，统计分析可以做，大数据技术可以做，市场运营也可以做，或者用excel分析数据，发现了一些有用的信息，然后这些信息可以指导你的business，这也属于数据挖掘。机器学习机器学习：machine learning，是计算机科学...

原创 人工智能算法之梯度下降法、协同过滤、相似度技术、ALS算法（附案例分析）、模型存储与加载、推荐系统的冷启动问题

梯度下降法求解机器学习算法的模型参数，即无约束优化问题时，梯度下降法是最常采用的方法之一，另一种常用的方法是最小二乘法。这里对梯度下降法做简要介绍。最小二乘法法适用于模型方程存在解析解的情况。如果说一个函数不存在解析解，是不能用最小二乘法的，此时，只能通过数值解（迭代式的）去逼近真实解。上面的方程就不存在解析解，每个系数无法用变量表达式表达。梯度下降法要比最小二乘法的适用性更强。数值解解...

原创 Hive处理案例——Zebra业务数据清洗

Zebra业务回顾zebra业务回顾zebra项目最开始阶段会对日志文件进行分析统计，针对apptype,userip等20个字段做了统计，然后把最后的结果落地到数据库里。这张表相当于总表（f_http_app_host）在企业里做到这步并没有结束，因为后续还要做数据分析，可能会针对此表进行多个维度的查询和统计，比如：1.应用欢迎度2.各网站表现3.小区Http上网能力4.小区上网...

原创 深入学习hadoop框架MapReduce（案例代码分享）

MapReduce的细节1.MR的默认分区机制MR的默认分区机制，是通过K2的值基于Hash算法实现的，具体实现过程为： k2.hashCode()%rnum决定了k2v2分配到哪个Reducer中，基于hash算法的散列的特性，保证了具有相同k2的数据可以去往同一个Reducer中。2.MR自定分区机制a.自定义分区实现过程在某些需求中，如果MR默认的分区机制无法完成功能，可以自定...

原创 Python爬虫技术

爬虫概述1.爬虫技术概述爬虫，即网络爬虫，是通过递归访问网络资源，抓取网络中信息的技术。互联网中也有大量的有价值的信息数据，手动下载效率非常低下，爬虫就是自动化爬取下载些有价值的信息的技术。互联网中的页面往往不是独立存在的，而是通过超链接连接成了一个网络，爬虫程序就像一 只蜘蛛一样，通过访问超链接在这张网络中移动 ，并下载需要的信息，理论上可以将爬取到整个互联网的绝大部分数据。爬虫技术最...

原创 Zookeeper集群指令

Zookeeper集群指令nc安装使用上传nc安装包执行：rpm -ivh nc-1.84-24.el6.x86_64.rpmnc ：netcat 是一个小型的网络通信工具，可以发起TCP请求Zookeeper集群命令可以通过Linux nc 工具来查看Zookeeper集群服务状态（掌握3个即可）执行：echo stat|nc 127.0.0.1 2181查看哪个...