- 博客(26)
- 收藏
- 关注
RSS订阅原创 python 七牛的直播实时截图
#!/usr/env/bin pythonimport base64import hashlibimport hmacimport urllibimport urllib2from base64 import urlsafe_b64encode, urlsafe_b64decodefrom urlparse import urlparseAK =""SK =""HUB="直播的hu
2017-04-20 22:41:37
743
原创 spark 日志解析格式化
ip库的信息在这里下载 http://www.ipip.net/download.html 182.146.100.97 - 3 [03/Jan/2017:23:30:01 +0800] "GET http://7xna64.com2.z0.glb.qiniucdn.com/Fq9M_Gn0RRWy9eprb0T0CAdrybv3.jpg?imageView2/2/w/1080/h/1920&e=1
2017-04-19 17:13:09
1638
原创 七牛的时间戳防盗链go语言
package mainimport ( "crypto/md5" "fmt" "net/url" "strings" "time")func main() { urls :="http://pili-live-hdl.pilihu.echohu.top/huxicongPili/588773c868d03f791b030f4e.flv?123"
2017-04-11 17:42:29
395
原创 日志的分析
package hadoopimport java.security.MessageDigestimport java.text.SimpleDateFormatimport IPInfo.IPimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Dataset, SQLContext, SparkSession}import
2017-03-30 10:52:22
977
原创 dataFrame操作
package sparkSQLimport org.apache.spark.sql.{DataFrame, SparkSession}/** * Created by sicong on 2017/3/9. */object sparkKodo {// def main(args: Array[String]): Unit = { val spark = SparkS
2017-03-30 10:50:47
332
原创 FFmpeg使用技能
FFmpeg 是一个自由软件，可以运行音频和视频多种格式的录影、转换、流功能，包含了 libavcodec -这是一个用于多个项目中音频和视频的解码器库，以及 libavformat -一个音频与视频格式转换库。FFmpeg 下载地址是 : https://ffmpeg.org/download.html 可以浏览器输入下载，目前支持 Linux ,Mac OS,Windows 三个主流的平台，也
2017-03-30 10:46:23
466
原创 关于shell 命令在七牛的使用小技巧 使用七牛的curl 实现表单上传
curl -v upload.qiniu.com -F'token=JOiPUijNB0t8vbNKIufpn5gDKmg0G-uFHBlrQoV2:rmU9wAEmrSV9FxPuD0V1Z1BgzKw=:eyJzY29wZSI6Impzc2RrIiwiZGVhZGxpbmUiOjE0ODQwMzY0NTJ9' -F'file=abc'注释：其中参数-F/–form curl -i -X POST
2017-03-30 10:45:27
621
原创 七牛 API接口文档 V1
API接口文档 V1huxicong·发表于:2016-08-12 15:22·更新于:2016-11-21 18:14创建流请求 hub.createStream(title, publishKey, publishSecurity);参数 说明 title (string)，流名，必须满足 namePattern, err := regexp.Compile(“^[a-zA-Z0-9_-
2017-03-30 10:44:38
2962
原创 pili实时在线人数的统计
pili实时在线人数的统计*这里我给了两个代码的使用案例首先 我们来看看请求的api GET /v1/hubs/huxicongPili/stat/playcount HTTP/1.1Host: pili.qiniuapi.comAccept: */*Content-Type: application/jsonUser-Agent: pili-sdk-php/1.5.4 curl/7.45
2017-03-30 10:43:19
1731
原创 使用shell生成七牛的管理凭证并进行刷新
使用shell生成七牛的管理凭证并进行刷新#!/usr/bin/env bashif [ $# -lt 5 ]then echo"参数错误 参数格式 AK SK URL body 1 or 2" exit 1fiPATHSS=$(echo $3 | cut -d/ -f4-)PATHS="/"${PATHSS}"\n"auth=$(echo -en $PATHS | op
2017-01-09 16:22:53
511
原创 利用Python递归列举目录下的文件并进行有序的排列
利用递归列举目录下的文件并进行有序的排列注释：本案例使用的操作系统是mac 不确保Windows下正常用途 ：本例子写初衷是为了实现文件下载较好的管理历史下载文件可以对获取出来所有的文件筛选出自己想要删除操作的文件#!/usr/bin/env python3# -*- coding: utf-8 -*-import os.path'use a recursion to li
2016-10-23 10:27:53
1584
原创 spark日志检查–将数据写入到数据中02
spark日志检查–将数据写入到数据中02首先来看看链接MySQL的操作 引入的包是import java.sql.{DriverManager, PreparedStatement, Connection} var conn: Connection = null var ps: PreparedStatement = null val sql = "INSERT INTO
2016-10-10 10:15:47
290
原创 Spark 监测目录的日志 获取ip的指定时间的的请求数 防止攻击报警
首先模拟数据的产生import java.io.PrintWriterimport java.text.SimpleDateFormatimport java.util.Dateimport scala.collection.mutable.ArrayBufferimport scala.io.Sourceimport scala.util.Random/** * Created by
2016-09-21 11:07:01
346
原创 spark 关于数据格式的清洗
需求: 原本的日志格式183.136.128.154 - - [30/Jul/2016:10:56:24 +0800] "GET http://static.tx.wmpyol.com/play/play.html HTTP/1.1" 200 651 "-" "Go-http-client/1.1" Hit "C/200" Static "max-age=60" 0.115 59.49.8
2016-08-04 14:34:36
2637
原创 php发送scoket与sparkStreaming
sparkStream在shell的启用php scoketServersparkStream在shell的启用使用spark监听scoket的9999端口这个相当于clientimport org.apache.spark._import org.apache.spark.streaming._import org.apache.spark.streaming.Streami
2016-07-25 11:46:45
617
翻译 linux 下php对kafka的扩展
1、安装librdkafkawget https://github.com/edenhill/librdkafka/archive/master.zip #下载mv master.zip librdkafka-master.zip #修改包名unzip librdkafka-master.zip #解压cd librdkafka-master #进入安装文件夹./confi
2016-07-21 14:56:47
293
原创 kafka 单节点快速运用
第一步下载 解压tar -xzf kafka_2.11-0.10.0.0.tgzcd kafka_2.11-0.10.0.0第二部启动kafka内部的zookeeper 和kafkabin/zookeeper-server-start.sh config/zookeeper.properties &[2013-04-22 15:01:37,495] INFO R
2016-07-21 09:53:39
390
原创 Hadoop到saprk伪分布式安装
从Hadoop到saprk伪分布式安装目前使用的版本是:scala-2.10.5.tgzspark-1.3.0-bin-hadoop2.3.tgzhadoop-2.2.0-64bit.tar.gzjdk-8u65-linux-x64.tar.gzHadoop安装hostname 看下自己的主机名sicong.localdomaincat /etc/hosts
2016-07-18 21:33:35
352
原创 远程拷贝文件
远程拷贝文件1、拷贝本机/home/administrator/test整个目录至远程主机192.168.1.100的/root目录下复制代码代码如下:scp -r /home/administrator/test/ root@192.168.1.100:/root/2、拷贝单个文件至远程主机复制代码代码如下:scp /home/administrator/Desktop/old/driver/te
2016-07-15 13:19:56
374
原创 spark阶梯学习2
这里先说先flatMap和map的qubie sc.textFile(“/Users/huxicong/Downloads/dd”).flatMap(_.split(” “)).collect flatMap会将每一行的数据全部拆开放到一个集合Array(10.75.194.100, -, -, [06/Jun/2016:14:35:32, +0800], “GET, /video.flv
2016-07-13 21:39:47
322
原创 七牛直播鉴权方式
本篇以PHP的代码为例新版的鉴权方式(v2版本)新Portal expiry 动态推流地址描述:新版的主要使用的是Access_Key,Secret_Key来做鉴权方式 格式rtmp://<RTMPPublishDomain>/<Hub>/<StreamKey>?e=<ExpireAt>&token=<Token>生成推流凭证：// 构造 RTMP 推流 Pathpath = "/<Hu
2016-07-13 12:11:18
1347
原创 spark的简单入门的例子
函数 使用方法 sc new SparkContext(conf) textFile 用于读取文件成RDD格式 flapMap 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”： map map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象； split 切分 reduceByKey 以key的形式传入filter过
2016-07-10 16:28:39
589
原创 shell 模拟curl
首先说明参数代码创建curl.sh文件 if [ $# != 1 ]; then echo "The parameters you enter is not correct !"; exit -1;fi#循环读出URL并判断状态码while read linedo{ echo %{http_code} $line isok=`curl -I
2016-07-01 10:31:18
418
原创 git入门
目录目录使用git提交一个本地文件夹到git 入门首先创建一个git将刚创建的git工程克隆到本地将你要同步的文件夹拷贝到当前这个Hadoop目录下再见这个目录加到分支中这是 git 基本工作流程的第一步使用如下命令以实际提交改动你的改动现在已经在本地仓库的 HEAD 中了执行如下命令以将这些改动提交到远端仓库这里开启二次验证的是要生成秘钥生成秘钥 复制秘钥 秘钥是密码使用git
2016-05-18 11:30:55
200
原创 php命名空间与自动加载函数一起使用
php命名空间与自动加载函数一起使用命名空间下Config.php namespace Auth\Config； final class Config{ const AK=”adhsjskndhjasha”; const SK=”ahdjkshaksjahdk”; }文件自动加载函数；{ $path = str_replace('\\', DIRECTORY_SEPARATOR,
2016-01-18 22:58:47
272
原创 linux 下MySQL主从复制
—，关闭两台服务器的防火墙service iptables stop二，主服务Linux远程连接的开放 GRANT ALL PRIVILEGES ON *.* TO 'hu'@'%' IDENTIFIED BY '1314xicong' WITH GRANT OPTION;三，开通mysqld-bin.log 日志vi /etc/my.cnf[mysqld]data
2015-11-04 00:03:32
196
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人