- 博客(64)
- 收藏
- 关注
RSS订阅原创 使用apple appstore的API时需要加地区`&country=cn`arkdown编辑器
使用apple appstore的API时需要加地区&country=cn需要写爬虫获取apple appstore里的应用信息时需要加上区域，否则若只在中国地区发行的话，无法获取到相关信息,API链接如下：http://itunes.apple.com/search?term={appName}&country=cn&entity=software&limit=10使用方法如下需要使用关键字搜索apple appstore里的软件信息时，可以直接使用appName
2021-01-26 14:17:58
514
原创 大数据环境单点安装(hadoop,hbase,zookeeper,phoenix,spark)
大数据环境单点安装版本版本jdk-8u211-linux-x64apache-phoenix-5.0.0-HBase-2.0-binapache-zookeeper-3.5.5hadoop-3.1.2hbase-2.0.5spark-2.3.3-bin-hadoop2.7准备修改主机名和host为mastervim /etc/hostn...
2020-04-27 17:23:48
451
原创 Spark往hbase里用saveAsHadoopDataset写数据时会出现错误解决
Spark往hbase里用saveAsHadoopDataset写数据时会出现如下错误:Exception in thread "main" org.apache.spark.SparkException: Job aborted. at org.apache.spark.internal.io.SparkHadoopWriter$.write(SparkHadoopWriter.scala...
2020-04-27 17:22:23
925
原创 将本地的jar包使用maven打包到jar中，并处理lib中的本地dll动态库
现在的需求是将本地的jar包一起使用maven打包到jar中，并且lib中还包含dll动态库(见坑3);ps: 最终pom.xml配置在最后经历的坑1，无法打包本地lib中的jar：<dependency> <groupId>org.jnetpcap</groupId> <artifactId>jnetpcap</...
2020-04-09 17:52:33
10469
原创 Phoenix统计某段时间内的数据量
原来直接mysql语句就好了…还试了那么多…select count(*) from "normalFlow" where "Timestamp" BETWEEN '2019-05-10 17:11:00' and '2019-05-10 17:13:25';结果:0: jdbc:phoenix:master,slave1,slave2,slave3:2> select count(...
2019-10-14 14:25:15
1013
原创 HBase错误解决:Master is initializing/org.apache.hadoop.hbase.NotServingRegionException)
HBase错误解决在IDEA中远程连接时提示错误2019-10-08 15:17:28 DEBUG org.apache.zookeeper.ClientCnxn Reading reply sessionid:0x10000192d2c000b, packet:: clientPath:/hbase/meta-region-server serverPath:/hbase/meta-r...
2019-10-08 16:23:05
2412
原创 Ubuntu安装mysql,及dpkg崩溃解决办法
Ubuntu安装mysql,及dpkg崩溃解决办法在安装mysql时出现莫名奇妙的错误:问题类似于:dpkg: 处理软件包 dh-python (--configure)时出错：依赖关系问题 - 仍未被配置在处理时有错误发生：python3dh-pythonE: Sub-process /usr/bin/dpkg returned an error code (1)使用网上的解决...
2019-09-26 15:39:06
701
原创 通过List和String创建Dataset,并解析自动解析字段属性(Spark(JAVA))
通过List和String创建Dataset主要是createDataset(dataList,Encoders.STRING());,这个Encoders.STRING()需要加上@Testpublic void List2Dataset(){ String header = "1a,2a,a3,4a"; List<String> dataList = new ...
2019-09-17 21:03:42
2058
原创 LeetCode 39:组合（递归回溯）
LeetCode 39:组合给定一个无重复元素的数组 candidates 和一个目标数 target ，找出 candidates 中所有可以使数字和为 target 的组合。candidates 中的数字可以无限制重复被选取。说明： 所有数字（包括 target）都是正整数。 解集不...
2019-09-11 23:59:22
185
原创 Spark中Dataset的转化------生成Dataset<User>并转化Dataset<Row>
spark中Dataset的坑生成Dataset<User>并转化为Dataset<Row>,其中(User为自己写的用户类)其实就一句…Dataset<Row> dataset1 = dataset.toDF();起始原因是用spark做机器学习,但训练集是.csv文件,读取的时候读取的是Dataset<Row>,但在调用保存的模型来预测...
2019-09-11 15:35:33
2192
1
原创 Spark(部署在远程服务器) + ML + RandomForestClassification 实例(附本地上传文件到服务端HDFS)
Spark部分问题1Spark部署在远程服务器,只有IP和Port,解决:直接用就ip就可以.master("spark://master:7077")…,我还查来好久…,可以将配置文件单独搞一个类package MLModel;import org.apache.spark.sql.SparkSession;public class UtilityForSparkSession {...
2019-09-09 22:16:16
1251
原创 LeetCode： 94 二叉树的中序遍历
LeetCode： 94 二叉树的中序遍历题目描述给定一个二叉树，返回它的中序 遍历。示例:输入: [1,null,2,3] 1 \ 2 / 3输出: [1,3,2]进阶: 递归算法很简单，你可以通过迭代算法完成吗？递归解法/** * Definition for a binary tree node. * publ...
2019-09-09 20:22:36
206
原创 LeetCode : 104 二叉树的最大深度
LeetCode : 104 二叉树的最大深度说明给定一个二叉树，找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明:叶子节点是指没有子节点的节点。示例：给定二叉树 [3,9,20,null,null,15,7]， 3 / \ 9 20 / \ 15 7返回它的最大深度3 。给定一个二叉树，找出其最大深度。二叉树的...
2019-09-08 22:27:11
116
原创 LeetCode:46 全排列
LeetCode:46 全排列描述给定一个没有重复数字的序列，返回其所有可能的全排列。示例:输入: [1,2,3]输出:[ [1,2,3], [1,3,2], [2,1,3], [2,3,1], [3,1,2], [3,2,1]]给定一个没有重复数字的序列，返回其所有可能的全排列。示例:输入: [1,2,3]输出:[ [1,2,3], [1,...
2019-09-06 23:33:53
147
原创 LeetCode:22 括号生成
LeetCode:22 括号生成题目描述给出n代表生成括号的对数，请你写出一个函数，使其能够生成所有可能的并且有效的括号组合。例如，给出n = 3，生成结果为：[ ((())), (()()), (())(), ()(()), ()()()]给出 n 代表生成括号的对数，请你写出一个函数，使其能够生成所有可能的并且有效的括号组合。例如，给出&...
2019-09-05 22:09:14
141
原创 LeetCode:338 比特位计数
LeetCode:338 比特位计数题目描述给定一个非负整数num。对于0 到num 范围中的每个数字i，计算其二进制数中的 1 的数目并将它们作为数组返回。示例 1:输入: 2输出: [0,1,1]示例2:输入: 5输出: [0,1,1,2,1,2]进阶: 给出时间复杂度为O(n*sizeof(integer))的解答非常容易。但你可以在线性时间O(n)内用一趟扫描做到吗？...
2019-09-05 20:31:32
166
原创 LeetCode:78 子集
LeetCode:78 子集题目描述给定一组不含重复元素的整数数组 nums，返回该数组所有可能的子集（幂集）。说明：解集不能包含重复的子集。示例:输入: nums = [1,2,3]输出:[ [3], [1], [2], [1,2,3], [1,3], [2,3], [1,2],&n...
2019-09-05 20:02:42
114
原创 Spark 2.3.3安装与部署（包括scala的安装）
1. scala安装1.1 下载链接链接：https://downloads.lightbend.com/scala/2.13.0/scala-2.13.0.tgz1.2 解压至 /usr/local/scala-2.13.01.3 加入环境变量vi /etc/profile添加：#scalaexport SCALA_HOME=/usr/local/scala-2.13.0ex...
2019-09-03 17:21:52
2694
原创 apache-phoenix-5.0.0-HBase-2.0安装与简单使用
HBase版本：hbase-2.0.5Phoenix版本：phoenix-5.0.0-HBase-2.0集群结构类型zookeeperHbasemasterNameNode否HMasterslave1DataNode是HRegionServerslave2DataNode是HRegionServerslave3DataNode是...
2019-08-27 09:15:01
4314
原创 批量开启和关闭zookeeper，再也不再一个个开关了。。。。
#!/bin/bash# 集群的ip（前面已经实现免密ssh登陆，用户名修改hadoop）iparray=(10.108.*.* 10.108.8*.* 10.108.*.*)user="hadoop"echo "$1"if [ $1 = "start" ]then cmd="zkServer.sh start"fi if [ $1 = "stop" ]the...
2019-08-26 21:55:05
428
原创 centos 7 thrift 0.12.0安装（由于系统环境有点乱，所以大数据框架都没他难装......
1. 安装杂项yum -y install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel2. 安装boost直接用yum安装boost，后续会报错error: /usr/local/lib64...
2019-07-11 22:48:32
1082
2
原创 基于DPDK的解析流量包程序(参考pdump,纯测试能否可行)
#include <stdio.h>#include <stdlib.h>#include <string.h>#include <stdint.h>#include <stdbool.h>#include <rte_byteorder.h>#include <rte_ether.h>#inclu...
2019-07-09 15:49:03
1924
原创 HBase中regionserver启动后自动关闭问题解决
查看日志，发现错误2019-06-24 20:16:29,432 ERROR [regionserver/slave2:16020] regionserver.HRegionServer: ***** ABORTING region server slave2,16020,1561378582102: Unhandled: cannot get log writer *****java.io....
2019-06-24 21:24:12
3026
原创 hbase thrift2 (hbase 2.0.5)服务的开启以及hbase.thrift 的C_glib编译
Starting the HBase Thrift Server in the BackgroundWhere is the service’s port, and is the port for the web-ui with information about the service, use the following command to start the HBase Thrift...
2019-06-22 10:55:38
1500
原创 hadoop3.1.2 + zookeeper3.5.5 + hbase2.0.5 安装
集群结构类型zookeeperHbasemasterNameNode否HMasterslave1DataNode是HRegionServerslave2DataNode是HRegionServerslave3DataNode是HRegionServerhosts文件（这里用的DHCP）IPhostname...
2019-06-10 10:25:39
1740
2
原创 jnetpcap.so: libpcap.so.0.8: 无法打开共享对象文件: 没有那个文件或目录,解决办法
jnetpcap在windows下和linux下需要不同的包（如共享库，在windows下是.dll，在linux下是.so文件案），所以跨平台编译会遇见问题，感觉主要的问题还是libpcap的版本问题（在ubuntu下编译直接解决问题1问题2就结束了，centos上libpcap版本不兼容，只好强行修改）在centos 7下编译含jnetpcap包的文件（libpcap已经安装完毕）问题1：...
2019-06-04 22:51:43
5391
1
原创 LeetCode：226. 翻转二叉树
题目描述翻转一棵二叉树。示例：输入： 4 / \ 2 7 / \ / \1 3 6 9输出： 4 / \ 7 2 / \ / \9 6 3 1备注:这个问题是受到 Max Howell 的 原问题 启发的 ：谷歌：我们90％的工程师使用您编写的软件(Homebrew)，但是您却无法在面试时...
2019-05-21 11:14:23
144
原创 LeetCode：461. 汉明距离
描述两个整数之间的汉明距离指的是这两个数字对应二进制位不同的位置的数目。给出两个整数 x 和 y，计算它们之间的汉明距离。注意：0 ≤ x, y < 231.示例:输入: x = 1, y = 4输出: 2解释:1 (0 0 0 1)4 (0 1 0 0) ↑ ↑上面的箭头指出了对应二进制位不同的位置。题解傻瓜式题解迭代求解c...
2019-05-14 21:37:02
108
原创 LeetCode: 617. 合并二叉树
描述给定两个二叉树，想象当你将它们中的一个覆盖到另一个上时，两个二叉树的一些节点便会重叠。你需要将他们合并为一个新的二叉树。合并的规则是如果两个节点重叠，那么将他们的值相加作为节点合并后的新值，否则不为 NULL 的节点将直接作为新二叉树的节点。示例 1:输入: Tree 1 Tree 2 ...
2019-05-11 23:18:28
138
原创 LeetCode：804. 唯一摩尔斯密码词
题目描述国际摩尔斯密码定义一种标准编码方式，将每个字母对应于一个由一系列点和短线组成的字符串， 比如: "a" 对应 ".-", "b" 对应 "-...", "c" 对应 "-.-.", 等等。为了方便，所有26个英文字母对应摩尔斯密码表如下：[".-","-...","-.-.","-..",".","..-.","--.","....","..",".---","-.-","...
2019-05-11 09:03:12
194
原创 LeetCode ： 832. 翻转图像
描述给定一个二进制矩阵 A，我们想先水平翻转图像，然后反转图像并返回结果。水平翻转图片就是将图片的每一行都进行翻转，即逆序。例如，水平翻转 [1, 1, 0] 的结果是 [0, 1, 1]。反转图片的意思是图片中的 0 全部被 1 替换， 1 全部被 0 替换。例如，反转&...
2019-05-09 23:57:38
158
原创 LeetCode： 237. 删除链表中的节点
题目描述请编写一个函数，使其可以删除某个链表中给定的（非末尾）节点，你将只被给定要求被删除的节点。 示例 1:输入: head = [4,5,1,9], node = 5输出: [4,1,9]解释: 给定你链表中值为 5 的第二个节点，那么在调用了你的函数之后，该链表应变为 4 -> 1 -> 9.示例 2:输入: head = [4,5...
2019-05-09 22:44:45
160
原创 Python: Kaggle Titannic数据集处理
# list Titannic_all file想法1：能否用某个算法求个权值矩阵，后用其.x数据，再用k-means聚类想法2 ：直接先用逻辑回归，随机森林import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport warningswarning...
2019-05-08 21:44:16
1688
原创 LeetCode：709. 转换成小写字母
描述实现函数 ToLowerCase()，该函数接收一个字符串参数 str，并将该字符串中的大写字母转换成小写字母，之后返回新的字符串。 示例 1：输入: "Hello"输出: "hello"示例 2：输入: "here"输出: "here"示例 3：输入: "LOVELY"输出: "lovely"题解没必要死记ASCII码，直接相减就好。这个题中...
2019-05-07 23:04:23
138
原创 LeetCode：938. 二叉搜索树的范围和
给定二叉搜索树的根结点 root，返回 L 和 R（含）之间的所有结点的值的和。二叉搜索树保证具有唯一的值。 示例 1：输入：root = [10,5,15,3,7,null,18], L = 7, R = 15输出：32示例 2：输入：root = [10,5,15,3,7,13,18,1,null,6], L = 6, R = 10输出：23...
2019-05-07 21:47:22
231
原创 LeetCode：771. 宝石与石头
给定字符串J 代表石头中宝石的类型，和字符串 S代表你拥有的石头。 S 中每个字符代表了一种你拥有的石头的类型，你想知道你拥有的石头中有多少是宝石。J 中的字母不重复，J 和 S中的所有字符都是字母。字母区分大小写，因此"a"和"A"是不同类型的石头。示例 1:输入: J = "aA", S = "aAAbbb...
2019-05-06 22:18:25
132
原创 LeetCode:149 Max Points on a Line
描述：Givennpoints on a 2D plane, find the maximum number of points that lie on the same straight line.Example 1:Input: [[1,1],[2,2],[3,3]]Output: 3Explanation:^|| o| o| o +...
2019-04-30 12:51:41
237
原创 JAVA : 通过Hibernat往mysql里插入数据
教程:how2java:how2j.cn可以在该网站下载，使用的hibernate版本对应的jar包先贴结果存在警告是因为没有进行slf4j配置SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".SLF4J: Defaulting to no-operation (NOP) logger implementati...
2019-04-22 22:19:44
201
原创 LeetCode : 150. Evaluate Reverse Polish Notation
Evaluate the value of an arithmetic expression in Reverse Polish Notation.Valid operators are +, -, *, /. Each operand may be an integer or another expression.Note:Division between two integers sho...
2019-04-21 12:00:04
154
原创 LeetCode:Minimum Depth of Binary Tree
采用层次遍历非递归方法（使用队列）public class Solution { public int run(TreeNode root) { //采用非递归，层次遍历，找叶节点 int minDepth = 0; //若根节点为null,则返回； if(root == null) return m...
2019-04-20 14:13:47
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人